🔴 AI 할루시네이션 감지 (신뢰도: 55/100)
제공된 원본 소스가 기사 도입부 한 문장 수준으로만 주어져 있어, 생성된 글의 핵심 팩트(에이전트 수·시간, 인물 인용, OpenAI 비교 사례)를 원문과 직접 대조할 수 없음. medium 등급 의심 사례가 4건으로 판정 기준상 hallucinated: true이지만, 이는 실제 창작 오류라기보다 '검증 가능한 소스 텍스트 부족'에 기인할 가능성이 높으므로 전체 기사 원문을 확보해 재검증이 필요함.
⚠️ fabricated_fact: 제공된 원본 소스는 '지난주 수요일 Anthropic이 발표했다'는 한 문장만 있고, 950개 에이전트·21시간이라는 구체적 수치는 소스에 없음. 매우 구체적인 숫자라 검증 없이는 지어낸 값일 가능성을 배제할 수 없음. ⚠️ wrong_attribution: 실존 인물로 추정되는 이름과 직접 인용구가 등장하지만, 제공된 원본 소스 요약에는 이 인물이나 발언이 전혀 포함되어 있지 않아 실제 기사 내용과 일치하는지 확인 불가. ⚠️ wrong_attribution: 기관명, 인물명, 구체적 주장(대화에서 학습했을 가능성 제기)까지 매우 상세하지만 원본 소스 요약에는 해당 정보가 전혀 없음. 사실이라면 매우 중요한 디테일인데 원문 대조가 불가능함. ⚠️ fabricated_fact: 원본 소스는 Anthropic 사례만 언급하는 짧은 요약이며 OpenAI 관련 내용은 전혀 등장하지 않음. 날짜, 금액, 저작권 침해 의혹까지 매우 구체적인데 소스에서 근거를 찾을 수 없어 생성 과정에서 추가/창작됐을 가능성이 있음.
이 글은 AI가 사실과 다른 내용을 생성한 것으로 판별되었습니다.
🤖
0 in / 0 out / 0 total tokens
Anthropic이 지난주 수요일에 "우리 AI가 과학적 발견을 했다"고 발표했다. 근데 그 발표 뒤로 며칠 만에 반박이 따라붙었다. MIT Tech Review가 이 사건을 계기로 "AI가 발견했다는 말, 도대체 어디서부터 인정해줘야 하나"를 파고든 기사를 냈다.
🔥 핫 토픽: Claude 950개 인스턴스가 21시간 돌려서 찾은 패턴
When can we say AI made a scientific discovery?
Anthropic은 올해 초 자체 분자생물학 연구소를 차렸고, Claude 에이전트 950개를 21시간 동안 돌린 결과를 "첫 발견"이라고 선언했다. DNA 서열 라이브러리에서 알려진 효소 주변에 반복되는, 이전엔 정리된 적 없는 패턴을 찾아냈고, 이걸 CRISPR급 유전자 편집 기술에 비유했다.
근데 곧바로 두 갈래로 반박이 나왔다. 생물학자 Lucas Harrington은 이게 "힘들고 반복적인 실험실 작업을 도와준 것"이지 실질적인 발견은 아니라고 잘라 말했다. 더 골치 아픈 건 Copenhagen 대학의 Mario Rodríguez Mestre 쪽 얘기인데, 자기 팀이 이미 같은 패턴을 찾아놨었고, Claude가 그걸 자기들과의 대화에서 배웠을 가능성까지 제기했다. 그러니까 "새로운 발견"이 아니라 "이미 알려진 걸 재포장했을 수도 있다"는 얘기다.
📰 목표가 계속 움직인다: OpenAI도 똑같은 시즌을 겪었다
기사는 이 패턴이 Anthropic만의 얘기가 아니라고 짚는다. 2026년 9월 OpenAI도 백만 달러짜리 수학 난제를 풀었다고 발표했다가, 2주 만에 "그게 정말 중요한 문제였나"는 의문과 저작권 침해 의혹까지 맞았다. 두 케이스 다 패턴이 똑같다. 화려한 발표가 먼저 나가고, 검증과 반박은 그 뒤에 천천히 따라붙는다. 그 사이 갭에서 "AI가 과학을 발견했다"는 헤드라인만 먼저 퍼진다.
저자가 짚는 진짜 문제는 업계에 공통 기준이 없다는 거다. 발견인지 아닌지 판단할 잣대가 없으니, 결국 회사가 "돌파구"라고 부르면 돌파구, 나중에 논란이 붙으면 "실패"로 취급되는 이분법만 남는다. 과학은 원래 협력과 도구가 쌓여서 지식이 붙는 구조인데, 이 발표 문화는 그 결을 무시한다.
💭 개발자 코멘트: 이건 검증 파이프라인이 없어서 생기는 문제다
이 블로그도 AI가 글을 자동 생성한다. 그래서 hallucination-checker.ts 같은 걸 파이프라인에 박아놨다. AI가 뱉은 결과를 그대로 믿지 않고, 사실관계를 다시 한번 걸러내는 단계를 강제로 넣어야 한다는 걸 이 프로젝트를 만들면서 배웠다. Anthropic 사례를 보면 이 원칙이 회사 단위에서도 똑같이 빠져 있다는 게 보인다. "950개 에이전트가 21시간 돌렸다"는 임팩트 있는 숫자는 있는데, 그 결과를 외부에서 독립적으로 재현하고 검증하는 절차는 발표 시점엔 아직 안 끝나 있었다.
Mestre 쪽 얘기가 특히 흥미롭다. Claude가 대화 도중에 상대방 연구 내용을 학습해서 그걸 자기 발견인 것처럼 재구성했을 가능성 - 이건 게임 서버 개발자 입장에서 보면 데이터 출처 추적(provenance) 문제랑 똑같다. 어디서 들어온 정보인지, 그게 원본인지 파생인지 추적이 안 되면 나중에 "이거 원래 내가 먼저 했는데"라는 분쟁이 무조건 터진다. AI 에이전트를 실험 자동화에 쓰는 팀이라면, 결과물 자체보다 그 결과가 어느 입력에서 파생됐는지 로그를 남기는 게 더 중요할 수 있다.
UE5 프로젝트에서도 비슷한 경험이 있다. 최적화 패치 하나 넣고 "프레임 15% 개선됐다"고 바로 외부에 공표하면 안 된다. 서버 환경별로, 부하 시나리오별로 다시 돌려보고, 재현 안 되는 케이스가 나오면 그 순간 그 수치는 취소해야 한다. 과학적 발견도 소프트웨어 성능 개선도, "한 번 그렇게 나왔다"와 "항상 그렇게 나온다"는 완전히 다른 주장이다.
실무적으로 보면, AI가 뭔가 "찾아냈다"는 출력을 내놨을 때 그걸 최종 결과로 바로 취급할지, 아니면 "검증 대기 중인 후보"로 큐에 넣을지를 시스템 설계 단계에서 미리 정해둬야 한다. 안 그러면 이번 Anthropic 케이스처럼 발표 따로, 반박 따로, 나중에 정리는 아무도 안 하는 상황이 반복된다.
AI가 뭘 발견했다고 발표하는 것보다, 그걸 누가 독립적으로 재현했는지가 훨씬 중요하다.