🔴 AI 할루시네이션 감지 (신뢰도: 58/100)
제공된 원본 소스 요약이 문장 중간에 잘려 있어 기사 본문 대부분을 확인할 수 없는 상태에서, 생성된 글은 실명 인물(Mario Rodríguez Mestre, Lucas Harrington)의 구체적 발언과 행동, 그리고 정확한 수치(950개 에이전트, 21시간)를 담고 있어 소스 대조만으로는 사실 여부를 검증할 수 없음. high severity 항목이 존재해 보수적으로 hallucinated: true로 판정하나, 이는 실제 기사 전문을 확인하면 해소될 가능성이 있는 '검증 불가' 판정에 가까움.
🚨 wrong_attribution: 실명(인물+소속)과 구체적 행동(반박, 데이터 오염 의혹 제기, Claude 사용 중단)이 명시돼 있으나, 제공된 소스 요약에는 이 인물이나 사건이 전혀 등장하지 않아 사실 여부를 확인할 수 없음 🚨 fake_source: 실명 인물의 직접 인용문인데 제공된 소스 요약에는 해당 발언이나 인물명이 나타나지 않아, 실제 기사에 있는 인용인지 확인 불가 ⚠️ fabricated_fact: 에이전트 개수(950개), 가동 시간(21시간) 같은 구체적 수치가 제공된 소스 요약에는 없음 ⚠️ fabricated_fact: 발견 내용에 대한 구체적 기술 서술이 제공된 소스 요약 범위 밖에 있어 대조 불가
이 글은 AI가 사실과 다른 내용을 생성한 것으로 판별되었습니다.
🤖
0 in / 0 out / 0 total tokens
Anthropic이 지난주 자기네 분자생물학 연구실에서 Claude 에이전트 950개를 21시간 굴려서 "첫 과학적 발견"을 했다고 발표했다. MIT Technology Review가 이 발표를 파고든 기사를 냈는데, 읽어보니 게임 서버 만들 때 겪는 재현성 버그랑 완전히 같은 얘기다.
🔥 핫 토픽: "발견"이라는 말, 누가 정의하나
Anthropic 발표에 따르면 Claude 에이전트들이 알려진 효소 주변에서 이전에 목록화되지 않은 반복 패턴을 찾아냈다. 근데 코펜하겐대 생물학자 Mario Rodríguez Mestre가 자기 팀이 이미 같은 패턴을 발견했었다고 반박하고 나섰다. 더 골치 아픈 건, Mestre가 Claude와 나눴던 대화에서 그 내용을 학습했을 가능성까지 제기하며 Claude 사용을 아예 중단했다는 점이다.
이거 딱 데이터 오염 문제다. 학습 데이터에 연구자의 비공개 대화나 초안이 섞여 들어갔을 가능성을 배제 못 하면, "스스로 발견했다"는 주장 자체가 무너진다. 멀티플레이어 서버 만들 때 클라이언트가 서버 상태를 미리 알고 있었던 것처럼 보이는데, 알고 보니 캐시가 안 무효화돼서 예전 값을 그대로 들고 있던 경우랑 똑같은 감각이다. 결과가 그럴듯해 보여도 그 값이 어디서 왔는지 추적 못 하면 신뢰할 수 없다.
📰 왜 이게 논쟁이 되나: 패턴 찾기 ≠ 발견
생물학자 Lucas Harrington은 이 논쟁에서 핵심을 짚었다. "패턴 찾기는 쉬운 부분이고, 진짜 발견은 그 시스템이 실제로 무엇을 하는지 파악하는 것"이라고.
이건 AI 에이전트 워크플로우를 짤 때도 그대로 적용된다. LLM한테 패턴 매칭은 잘 시킬 수 있어도, 그 패턴이 왜 의미 있는지에 대한 인과적 설명은 완전히 다른 레벨의 작업이다. 950개 에이전트를 21시간 돌린 스케일 자체는 분명 인상적이다. 근데 스케일이 검증을 대체하지는 못한다. 벤치마크 점수만 올리겠다고 파라미터를 죽어라 튜닝해놓고 왜 그 결과가 나오는지 아무도 설명 못 하는 모델을 그대로 배포하는 것과 리스크가 비슷하다.
기사가 짚은 더 근본적인 문제도 있다. AI 기업들이 AI를 "도구"가 아니라 "독립적 발견자"로 포지셔닝하려는 경향 자체가 과학적 검증을 방해한다는 지적이다. 마케팅 관점에서는 "AI가 발견했다"가 훨씬 강력한 카피다. 근데 과학은 재현 가능해야 하고, 재현하려면 그 과정을 누구나 검증할 수 있어야 한다. "에이전트가 알아서 했다"는 설명은 검증 가능성을 오히려 떨어뜨린다.
사이드 프로젝트로 에이전트 파이프라인을 짤 때도 똑같은 원칙을 적용한다. 에이전트 산출물을 그대로 정답으로 받아쓰지 않고, 출처를 남기고 재현 가능한 형태로 검증 로그를 쌓는다. 안 그러면 에이전트가 빠르게 뱉어낸 그럴듯한 텍스트를 그냥 믿게 된다.
패턴을 빨리 찾는 속도는 이미 AI가 인간을 앞질렀다. 근데 그 패턴이 재발견인지 진짜 발견인지 가려낼 검증 체계가 없으면, 속도는 성과가 아니라 노이즈다.