🤖
0 in / 0 out / 0 total tokens
🔥 핫 토픽: Claude가 단백질 서열을 외웠다는 실험 결과
최신 Claude 모델이 학습 중에 단백질 서열 데이터를 대규모로 봤다는 근거를 정리한 블로그 글이 HN에서 44점을 받았다. 글쓴이의 주장은 간단하다. Claude Fable 5.2와 Opus 5.5는 처음 보는 단백질의 다음 아미노산을 상당히 잘 맞히고, GPT·Gemini·오픈 웨이트 모델은 거의 못 맞힌다는 것이다.
실험 설계가 꽤 깔끔하다. 단백질 앞부분을 주고 다음 아미노산 10개를 쓰게 한다. 그리고 같은 단백질의 서열을 무작위로 섞은 버전으로도 똑같이 시킨다. 섞으면 구성 성분은 같고 순서 정보만 사라진다. 그래서 진짜 서열과 섞은 서열의 정확도 차이가 곧 서열 자체에 대한 지식이라는 논리다. 게임으로 치면 같은 맵의 리플레이와 셔플한 입력을 비교해서, 모델이 맵을 아는지 모르는지 가려내는 A/B 테스트 같은 구조다.
출처: Hacker News
📊 숫자로 보면
- 대상은 기능이 알려지지 않은 DUF 패밀리 167개에서 뽑은 세균·고세균 단백질 668개다. 구조가 풀리지 않았고, 논문이 3편 이하이며, UniProt에 90% 이상 유사한 짝이 없는 것만 골랐다. 단백질마다 5개 지점을 잘라 3,340문항을 만들었다.
- 실제와 섞은 서열의 정확도 차이는 Fable 5.2가 +45.1%p(실제 약 54%, 섞은 약 9%), Opus 5.5가 +27.4%p(34.9% 대 7.5%)다.
- Opus 4.7 같은 이전 세대는 대략 +8
15%p다. GPT 계열과 오픈 웨이트 7종은 02%p 근처다. - 단백질 전용 언어모델과 비교하면 ProGen3-3B가 +32.5, ProtGPT3-10B가 +27.7이다. 범용 챗 모델인 Fable 5.2가 이 둘보다 높게 나왔다는 점이 눈에 띈다.
개발자 입장에서 흥미로운 부분은 범용 LLM이 도메인 특화 모델 수준의 시퀀스 모델링 능력을 부산물로 갖게 됐다는 점이다. 학습 데이터 구성이 모델 능력의 윤곽을 이렇게까지 바꾼다는 증거이기도 하다.
출처: Hacker News
🧪 학습 데이터 때문이라는 근거
글쓴이는 논문을 읽고 아는 것과 서열 DB를 직접 학습한 것을 구분하려고 몇 가지 대조 실험을 했다.
- 패밀리가 클수록 차이가 커졌다. 데이터베이스에 많이 들어 있는 서열일수록 잘 맞힌다는 뜻이다. 단백질 언어모델도 같은 경향을 보였다.
- 논문이 전혀 없는 128개 패밀리에서도 차이가 거의 같았다(Fable 5.2 45.9점). 문헌 지식으로는 설명이 안 된다.
- 추론 토큰을 거의 안 쓴 답도 정확도가 비슷했다. 추론으로 푼 게 아니라 기억에서 바로 꺼낸 쪽에 가깝다.
- 11월 18일자 업데이트에 따르면, 2026년 8월에 공개된 단백질 56개에서도 Fable 5.2는 +22.1, Opus 5.5는 +13.4였다. 같은 세트에서 ProGen3-3B는 +12.0이었다.
- 사람·생쥐 코딩 서열을 뺀 대부분의 DNA는 못 맞혔다. 게놈이 아니라 단백질을 학습했다는 해석이 나온다.
출처: Hacker News
⚠️ 그대로 믿기 전에 볼 한계
솔직히 이 글은 학습 데이터를 직접 열어본 게 아니라 행동 실험으로 추론한 결과다. Anthropic이 공식적으로 확인한 내용도 아니다. 글쓴이 스스로 밝힌 한계도 많다.
- 포스트 컷오프 세트는 56개뿐이고, 컷오프 날짜(2026년 7월 1일)도 가정이다. 약 14점 이상의 차이만 안정적으로 잡힌다.
- Fable 5는 안전 필터로 질문의 44%가 차단되어 주요 그래프에서 빠졌다. 가장 센 모델의 결과가 일부만 반영된 셈이다.
- 채팅형과 raw continuation 설정이 섞여 있어 비교가 완전히 공정하지 않다. ESM-2는 왼쪽 문맥만 주면 +7.0이고 양쪽 문맥을 주면 +34.6이라, 방향성 때문에 불리한 비교이기도 하다.
- 다음 잔기 예측만 봤다. 구조 예측이나 변이 효과 순위는 검증하지 않았다.
이 한계들 때문에 숫자 하나하나보다 방향성을 보는 게 맞다. 그래도 서열을 섞은 대조군과 논문 수 대조까지 넣은 설계라서, 단순한 인상 비평보다는 훨씬 믿을 만하다.
출처: Hacker News
🛠️ 개발자에게 의미하는 것
바이오 도메인에서 Claude를 쓰는 사람이라면 한 가지는 조심해야 한다. 유명 단백질은 모델이 서열을 그대로 외우고 있을 수 있어서, 변이 순위 같은 과제의 점수가 추론 능력인지 암기인지 구분이 안 된다. 평가 데이터를 고를 때 학습 컷오프 이후의 데이터를 쓰고, 섞은 입력 같은 대조군을 같이 돌리는 습관이 필요하다. 이건 게임 쪽에서 벤치마크를 돌릴 때 캐시 효과를 걸러내는 것과 같은 감각이다.
모델이 무엇을 학습했는지는 공개 스펙이 아니라 이런 외부 실험으로 드러나는 중이고, 그 결과는 아직 간접 증거다.