🤖
1300 in / 5488 out / 6788 total tokens
🔥 핫 토픽
ChatGPT 5.5 Pro, 수학자의 실험장에서 벌어진 일
원문: A recent experience with ChatGPT 5.5 Pro
Timothy Gowers - 필즈 메달 수상자이자 케임브리지 수학 교수다. 이 사람이 ChatGPT 5.5 Pro를 가지고 수학 문제를 풀어봤다. Hacker News에서 513점을 받은 이 글은 단순한 "AI 써봤습니다" 리뷰가 아니다. 전문가가 자기 분야에서 AI의 한계를 정밀하게 들여다본 실험 보고서다.
결론부터 말하면, 5.5 Pro는 확실히 이전 버전보다 낫다. 특히 다단계 논리 추론에서의 발전이 눈에 띈다고. 예전 GPT-4 시절에는 중간 단계를 슥 넘기거나, 증명 과정에서 "자명하므로"로 때워버리는 일이 많았다. 5.5 Pro는 적어도 시도는 제대로 한다. 게임 개발에 빗대자면, 이전에는 AI에게 "A* 패스파인딩 구현해줘" 했더니 휴리스틱 함수를 빼먹는 수준이었다면, 이제는 제대로 된 구현을 가져오긴 한다는 거다.
하지만 여전히 함정이 있다. Gowers가 지적한 핵심은 "틀린 답을 낼 때의 당당함"이다. AI는 틀릴 때도 100% 확신하는 어조로 답을 준다. 수학적 엄밀성이 필요한 증명에서 치명적 오류를 저지르면서도 마치 정답인 것처럼 포장한다. 이건 UE5 C++ 작업할 때도 똑같이 겪는 문제다. AI가 준 코드가 컴파일은 되는데, 런타임에 크래시를 내거나 메모리 누수를 일으키는 경우. 빌드는 성공했으니 "됐겠지" 하고 넘어갔다가 나중에 디버깅 지옥에 빠지는 패턴이다.
이 글이 중요한 이유는, 전문가의 검증이라는 필터를 거친 솔직한 평가라는 점이다. 마케팅 화려한 데모가 아니라, 실제 현장에서 치열하게 써본 사람의 기록. 경쟁 구도에서 보면, OpenAI가 "Pro" 레이블을 붙이며 전문가 시장을 공략하려 하지만, 아직 그 기대치에 완전히 부응하진 못하고 있다는 뜻이기도 하다.
개발자 관점에서 교훈은 명확하다. AI는 초안 작성과 아이디어 탐색에 쓸 만하지만, 최종 검증은 반드시 인간이 해야 한다. 특히 논리적 엄밀성이 요구되는 작업 - 수학 증명이든, 알고리즘 최적화든, 네트워크 프로토콜 구현이든 - 에서는 AI의 출력을 "제안"으로 받아들이고, "정답"으로 받아들이지 말아야 한다.
출처: Hacker News - A recent experience with ChatGPT 5.5 Pro
📰 뉴스
Shel Silverstein, 1981년에 LLM을 예언하다
원문: Shel Silverstein predicts LLM's (and its hallucinations), circa 1981
이건 기술 뉴스라기보다 문화적 패러독스에 가깝다. Reddit r/LocalLLaMA에서 479점을 받은 이 게시물은, Shel Silverstein이라는 아동 문학가가 1981년에 쓴 시/만화를 다루고 있다. 내용인 즉, 모르는 걸 아는 척하며 자신만만하게 떠드는 캐릭터에 대한 묘사다. LLM의 환각(hallucination) 현상과 놀라울 정도로 정확하게 맞아떨어진다.
Shel Silverstein은 《나무》로 유명한 시인 겸 작가다. 어린이를 위한 기발하고 유머러스한 시와 그림으로 사랑받았다. 1981년 작품에서 그는 "자신이 모르는 걸 당당하게 말하는 존재"를 묘사했는데, 이게 마치 2020년대 LLM을 보는 것 같다. 우연의 일치라고 치부하기엔 너무 정확하다. 아니, 우연의 일치가 맞다. 하지만 인간 본성에 대한 통찰이 얼마나 시대를 초월하는지 보여주는 예시다.
이 뉴스가 실제로 중요한 이유는, LLM의 환각이 "기술적 결함"이라는 관점에 도전하기 때문이다. AI 연구자들 사이에서는 환각을 "해결해야 할 버그"로 보는 시각이 많다. 더 많은 데이터, 더 정교한 RLHF, 더 나은 아키텍처로 고칠 수 있다고. 하지만 Silverstein의 1981년 작품은 시사한다: "아는 척하는 것"은 언어를 다루는 존재의 본질적 특성일 수 있다. 언어 모델이 언어를 생성하는 방식 자체가, 본질적으로 "그럴듯하게 들리는 문장 만들기"다. 진실과 무관하게.
게임 개발에 비유해보자. 물리 엔진을 아무리 정교하게 만들어도, 수치 해석의 근본적 한계가 있다. 이산화 오차, 부동소수점 정밀도 문제. 완벽한 시뮬레이션은 이론상 불가능하다. LLM의 환각도 비슷한 맥락일 수 있다. 언어 모델이 의미를 "이해"하는 게 아니라 패턴을 "생성"하는 한, 환각은 제거 불가능한 특성이다. 줄일 수는 있어도 없앨 수는 없다.
앞서 언급한 Gowers의 ChatGPT 5.5 Pro 리뷰와 연결된다. Gowers도 같은 걸 경험했다. AI가 틀린 답을 당당하게 줬다. 40년 전 시인이 묘사한 캐릭터와 정확히 같은 행동 양상. 모델이 5.5로 발전했어도, 이 본질적 특성은 변하지 않았다. 개발자로서 이걸 받아들이는 게 중요하다. AI는 도구다. 완벽한 도구가 아니라, 한계를 알고 쓰는 도구.
출처: Reddit r/LocalLLaMA - Shel Silverstein predicts LLM's
💡 두 뉴스를 관통하는 통찰
두 이야기는 결국 같은 결론에 도달한다. AI는 발전하지만, "아는 척하는 본성"에서 자유롭지 않다.
Gowers의 실험은 2026년 최첨단 모델이 보여준 실제 한계다. Silverstein의 작품은 1981년에 이미 그 한계의 본질을 꿰뚫어 본 통찰이다. 둘을 나란히 놓으면, AI 기술이 얼마나 발전했든 언어 생성의 근본적 속성은 바뀌지 않았음이 드러난다.
실무에서 이걸 어떻게 받아들여야 하나. AI를 "신뢰할 수 있는 동료"로 대하지 말고, "열심히 하지만 가끔 거짓말하는 인턴"으로 대하라는 거다. 코드 리뷰하듯 AI 출력을 검토하고, 테스트 케이스로 검증하고, 프로덕션에 들어가기 전에 반드시 인간이 확인하는 프로세스를 만들어야 한다.
나도 AI 사이드프로젝트 하면서 이걸 뼈저리게 느낀다. AI가 짜준 코드가 로컬에서는 잘 되다가, 다른 환경에서 터지는 경우가 한두 번이 아니다. "이 정도면 되겠지" 하고 넘어갔던 게 항상 함정이었다.
AI는 진화하지만, 완벽해지지 않는다. 40년 전 시인의 통찰이 오늘날에도 유효하다는 건, 우리가 기술의 한계가 아니라 언어의 본질과 마주하고 있다는 뜻이다.