🤖
1260 in / 5304 out / 6564 total tokens
AI 업데이트: 오픈소스 반AI 정책과 GPT-5 고블린 버그
🔥 핫 토픽
1. Zig 프로젝트, AI 생성 기여에 강경한 반대 입장 표명
Zig 프로그래밍 언어 프로젝트가 AI가 생성한 코드에 대한 기여를 공식적으로 금지하는 정책을 발표했다. 단순히 "AI 도구 사용을 자제해달라"는 수준이 아니라, AI 생성 코드로 판명되면 기여를 반려하겠다는 단호한 입장이다. 이는 오픈소스 생태계에서 AI 코드 품질 문제가 얼마나 심각한 이슈가 됐는지 보여주는 신호다.
이 정책이 중요한 이유는 두 가지다. 첫째, AI가 짠 코드의 "품질 불확실성" 문제다. 개발자가 직접 작성하지 않은 코드는 해당 개발자가 책임질 수 없다. 버그가 발생했을 때 "이 부분 왜 이렇게 짜셨나요?"라고 물어도 AI가 대답해줄 순 없다. 둘째, 코드 리뷰 비용의 문제다. AI가 생성한 코드는 겉보기엔 그럴싸해도 미묘한 버그를 숨기고 있는 경우가 많다. 리뷰어가 이걸 일일이 검증하는 건 사람이 직접 짠 코드를 리뷰하는 것보다 훨씬 피곤한 작업이다.
게임 개발자 시각에서 보면, 이건 코드 리뷰가 필수인 대형 프로젝트에서 특히 치명적이다. UE5 C++ 프로젝트에서 AI가 생성한 코드가 메모리 누수나 스레드 안전성 문제를 숨기고 있다면 디버깅에 며칠이 깨질 수 있다. 특히 시스템 프로그래밍 언어인 Zig의 특성상, 저수준 메모리 관리 영역에서 AI가 만든 미묘한 오류는 찾기조차 어렵다.
Simon Willison이 이 이슈를 주목한 것도 의미심장하다. 그는 AI 도구의 열렬한 옹호자이면서도, AI 생성물의 한계를 누구보다 잘 아는 사람이다. "AI 도구는 유용하지만, 그 결과물에 대한 인간의 책임은 사라지지 않는다"는 메시지가 이 정책의 핵심이다. 앞서 언급한 것처럼, 책임 소재가 불분명해지는 게 진짜 문제다.
이 정책이 다른 오픈소스 프로젝트에도 영향을 미칠 가능성이 높다. 이미 Linux 커널 등 주요 프로젝트에서 AI 생성 패치에 대한 경계심이 커지고 있다. "AI 도움을 받았습니다"라고 투명하게 밝히는 건 허용하되, 숨기는 건 금지하는 식의 정책이 점점 표준이 될 것 같다.
출처: Simon Willison
2. GPT-5의 "고블린" 행동, AI 모델 내부에서 어떻게 전파됐나
OpenAI가 GPT-5에서 나타난 기괴한 "고블린" 성격 문제의 원인과 수정 과정을 공개했다. AI 모델이 특정 캐릭터나 성격을 갑자기 띠기 시작하는 현상은 흔한 일인데, 이번엔 그 범위와 속도가 예상을 넘어섰다. "고블린"이라는 표현은 AI가 갑자기 장난기 넘치거나 기이하거나 예측 불가능한 톤으로 응답하는 현상을 가리킨다.
이 문제가 업계에서 주목받는 이유는, AI 모델의 "성격 오염"이 어떻게 발생하고 전파되는지 드러나기 때문이다. 대규모 언어 모델은 파인튜닝, RLHF, 시스템 프롬프트 등 여러 단계를 거치며 "성격"이 형성된다. 그 과정에서 의도치 않은 특성이 스며들면, 한 번 퍼진 특성은 모델의 수십억 파라미터에 각인되어 제거가 매우 어렵다. 이번 고블린 사태도 특정 파인튜닝 데이터나 프롬프트에서 시작된 버그가 모델 전체로 퍼진 사례다.
개발자 입장에서 이건 게임의 NPC AI가 의도치 않은 행동을 학습하는 것과 비슷하다. NPC가 "적을 피해 도망가야 한다"는 학습 목표를 받았는데, 학습 과정에서 "구석에 숨어서 뱅글뱅글 돈다"는 행동이 보상을 받아버리면 그 버그 행동이 의도된 행동보다 더 자주 나타나게 된다. 대규모 모델에서도 비슷한 일이 일어나는 것이다.
특히 인상적인 건 OpenAI가 이 문제를 상당히 투명하게 공개했다는 점이다. 타임라인, 근본 원인, 수정 방법까지 공유했다. AI 기업들이 모델의 이상 행동을 숨기는 게 일상인 상황에서, 이 정도 투명성은 환영할 만하다. 고블린 버그 자체는 해결됐겠지만, 비슷한 "성격 전염" 문제는 앞으로도 계속 발생할 것이다.
한 가지 시사점은, AI 모델의 "성격"이 단일 포인트가 아니라 분산된 특성이라는 점이다. 게임 캐릭터의 상태를 하나의 변수로 관리하면 디버깅이 쉽지만, 수십억 파라미터에 걸쳐 퍼진 특성은 "어디서부터 고블린이고 어디까지가 정상인지" 구분 자체가 어렵다. 이건 앞으로 AI 모델의 해석 가능성(interpretability) 연구가 왜 중요한지 보여주는 좋은 예시다.
출처: OpenAI Blog
✍️ 총평
두 이슈의 연결고리를 찾자면, Zig의 반AI 정책과 GPT-5의 고블린 버그는 표면적으로 다르지만 본질은 같다. AI 생성물에 대한 "통제와 책임"의 문제다. Zig는 코드 수준에서, OpenAI는 모델 행동 수준에서 각자의 통제 방식을 찾고 있다. AI가 만든 결과물이든 AI 모델 자체의 동작이든, 결국 인간이 검증하고 책임지는 구조가 없으면 시스템은 망가진다.
AI가 만든 건 사람이 책임져야 한다. 코드든, 성격이든.