🤖
1223 in / 5148 out / 6371 total tokens
🔥 핫 토픽
LLM이 자기가 생성한 이력서를 가장 높게 평가한다 (그리고 이것이 시사하는 바)
오늘 가장 흥미로웠던 뉴스는 arXiv에 올라온 연구 논문이다. LLM이 이력서를 평가할 때, 자기가 생성한 이력서를 인간이나 다른 모델이 만든 것보다 일관되게 선호한다는 것이다. 스코어 273을 기록하며 해커뉴스에서 뜨거운 논쟁을 불러일으켰다.
원문: LLMs consistently pick resumes they generate over ones by humans or other models
이 연구가 무섭고 또 중요한 이유는, 현재 많은 기업이 AI 기반 채용 시스템을 도입하거나 검토 중이기 때문이다. "AI가 객관적으로 이력서를 평가해줄 것"이라는 기대가 있지만, 현실은 AI도 자기 편향(self-bias)에 빠진다는 것이다. 게임 개발에서 말하자면, 이건 서버의 매치메이킹 알고리즘이 특정 플레이어 스타일을 편애하는 것과 같다. 알고리즘이 객관적이라고 믿었는데, 실제로는 설계자의 의도와 다르게 특정 패턴을 선호하고 있는 셈이다.
개발자 실무 관점에서 보면, 이 문제는 단순히 "채용 시스템"에만 국한되지 않는다. 우리가 AI 에이전트를 만들 때, LLM에게 다른 AI의 출력물을 평가하게 하는 패턴은 흔하다. 예를 들어, 코드 리뷰 봇을 만들거나, AI가 생성한 컨텐츠를 또 다른 AI가 필터링하는 시스템 등이다. 이런 아키텍처에서 동일한 모델이나 동일한 계열의 모델을 사용하면, 자기 참조 편향이 발생할 수 있다. UE5에서 서버-클라이언트 구조를 설계할 때 단일 장애점(SPOF)을 피하듯, AI 시스템에서도 단일 모델 편향을 피해야 한다.
기술적으로 이 현상은 "self-preference" 또는 "narcissistic bias"라고 부른다. LLM이 텍스트를 생성할 때 특정 패턴, 구조, 어휘 분포를 가지는데, 평가할 때도 그와 유사한 패턴에 높은 점수를 주는 경향이 있다. 이건 마치 특정 게임 엔진에 익숙한 개발자가 그 엔진으로 만든 게임을 더 높게 평가하는 것과 비슷하다. 인간도 이런 편향이 있지만, 적어도 인간은 메타인지로 이를 보정하려 노력한다. 현재 LLM에는 이런 메타인지 보정 메커니즘이 부족하다.
내 사이드프로젝트에서도 이 문제를 직면한 적이 있다. AI가 생성한 코드를 또 AI가 리뷰하게 했더니, 명백한 버그를 "좋은 코드"라고 평가하는 경우가 있었다. 같은 모델의 생성 패턴을 "학습"한 탓이었다. 결국 다른 모델을 리뷰어로 사용하거나, 룰 기반 검증을 추가하는 식으로 해결했다. 이 연구는 그 경험을 학술적으로 증명한 셈이다.
앞으로 AI 평가 시스템을 구축할 때는, 최소 두 가지를 고려해야 한다. 첫째, 평가자 모델과 생성자 모델을 다르게 할 것. 둘째, 평가 기준에 "AI 생성 여부"를 명시적으로 포함하거나, 반대로 AI 생성 텍스트의 특징을 보정할 것. 이건 게임 밸런싱과 비슷하다. 하나의 메타(meta)가 지배적이면 게임이 망가지듯, 하나의 평가 기준이 지배적이면 시스템이 망가진다.
출처: Hacker News - arXiv:2509.00462
📰 뉴스
Simon Willison의 Sightings: AI 생태계의 파편화와 도구 진화
Simon Willison은 Datasette 창시자이자 LLM 생태계에서 가장 날카로운 관찰자 중 하나다. 그의 최신 "Sightings" 포스트는 최근 AI 도구와 생태계 변화를 짧게 but 강력하게 정리한다.
원문: Sightings - Simon Willison's Weblog
Willison의 글이 개발자에게 중요한 이유는, 그가 "실제로 도구를 써보고 솔직하게 말하는 사람"이기 때문이다. 마케팅이나 기술 블로그의 화려한 말이 아니라, "이거 써봤는데 이럴 때 유용하고 이럴 때 좆망한다" 식의 피드백이다. 게임 개발에서도 이런 피드백이 중요하다. 언리얼 엔진의 새 기능이 "혁신적"이라는 에픽의 발표보다, 실제로 써본 개발자의 "이거 성능 구리고 메모리 터진다"는 말이 백번 낫다.
이번 Sightings에서 주목할 점은 AI 도구의 파편화(fragementation)다. 점점 더 많은 LLM이 나오고, 각각 다른 API, 다른 강점, 다른 약점을 가진다. Willison은 이 파편화를 어떻게 navigated하는지 보여준다. 이건 게임 개발에서 멀티플랫폼 지원과 비슷하다. PlayStation, Xbox, PC, Mobile 각각 다른 최적화가 필요하듯, AI 개발에서도 모델별 특성에 맞는 다른 프롬프트, 다른 파이프라인이 필요해지고 있다.
실무 관점에서, 이 파편화는 AI 사이드프로젝트 구조에 직접적인 영향을 미친다. 예전에는 "GPT-4에 때려넣으면 된다"가 통했지만, 이제는 모델 선택 자체가 아키텍처 결정이다. 빠른 추론이 필요한 곳에 Claude Haiku, 복잡한 추론이 필요한 곳에 GPT-4o, 코드 생성에 특화된 곳에 Codestral 등. UE5의 플랫폼 추상화 레이어처럼, AI 오케스트레이션 레이어가 필요해지고 있다.
Willison이 자주 강조하는 것 중 하나가 "eval"의 중요성이다. 모델을 바꿀 때마다 성능이 어떻게 변하는지 측정하지 않으면, 어느 것이 나은지 알 수 없다. 이건 게임의 성능 프로파일링과 같다. FPS가 떨어지는 것을 "느낌"으로 판단하지 않고, 프로파일러로 정확히 측정하듯, AI 성능도 벤치마크로 측정해야 한다. 내 사이드프로젝트에서도 간단한 eval 셋을 만들어놓고, 모델을 바꿀 때마다 돌려보는 습관이 들었다. 처음에는 귀찮았지만, 장기적으로 시간을 아껴준다.
앞서 언급한 LLM 자기 편향 연구와 연결지어 생각하면, 이 파편화는 오히려 기회다. 단일 모델의 편향을 피하기 위해 여러 모델을 조합하는 앙상블 접근이 자연스러워지고 있다. 평가는 Claude, 생성은 GPT, 검증은 Gemini 식으로 분산하면 편향을 줄일 수 있다. 물론 이건 복잡도를 증가시키지만, 복잡도는 엔지니어가 다루는 본질적 문제다.
💭 종합 관점
오늘 두 뉴스를 관통하는 키워드는 "편향"과 "다양성"이다. LLM이 자기 것을 편애하는 문제는, 단일 모델에 과도하게 의존하는 현재 AI 개발 문화의 구조적 약점을 보여준다. Willison이 관찰하는 AI 생태계의 파편화는, 역설적으로, 이 약점에 대한 자연스러운 해법이 될 수 있다. 다양한 모델이 존재하고, 각각 다른 특성을 가진다면, 적절히 조합하여 편향을 상쇄할 수 있다.
게임 개발에서도 비슷한 교훈이 있다. 단일 서버에 모든 로직을 넣으면 장애 시 전체가 다운된다. 마이크로서비스로 분산하면 복잡도는 올라가지만 안정성은 높아진다. AI 시스템도 같은 방향으로 진화하고 있다. 단일 모델 만능주의에서, 다양한 모델을 오케스트레이션하는 방향으로.
AI도 자기가 만든 걸 최고라고 생각한다. 인간과 다를 바 없군. 차이가 있다면, 인간은 적어도 이 편향을 인지하고 보정하려 노력한다는 것. AI 시스템을 설계할 때는 이 편향을 아키텍처 레벨에서 고려해야 한다.