🤖
1213 in / 2430 out / 3643 total tokens
🔥 핫 토픽
Simon Willison, Claude에 "왜 이러는 거야?" — WHY ARE YOU LIKE THIS
Simon Willison이 Claude의 특이한 동작 패턴에 대해 공개적으로 질문을 던졌다. 제목부터가 "WHY ARE YOU LIKE THIS"—왜 이러냐는 거다. 이건 단순한 불평이 아니라, LLM이 보이는 예측 불가능한 행동 패턴에 대한 깊은 기술적 의문이다.
Simon Willison은 datasette, llm CLI 도구 등을 만든 개발자이자, LLM 생태계에서 가장 신뢰받는 기술 블로거 중 한 명이다. 이런 사람이 Claude의 동작에 대해 공개적으로 의문을 제기했다는 건, Claude를 프로덕션에서 쓰는 개발자들에게 직접적인 영향이 있다는 뜻이다. 그가 지적한 문제는 단순히 "답이 틀렸다"가 아니라, Claude가 왜 특정 방식으로 응답하는지 그 근본적인 이유를 파고드는 내용이다.
게임 개발에서도 비슷한 상황이 종종 있다. NPC AI가 이상하게 행동할 때, 겉보기엔 버그 같은데 실제로는 행동 트리의 우선순위 설정이나 블랙보드 값 갱신 타이밍 같은 근본 원인이 있는 경우가 많다. LLM도 마찬가지다. 모델이 특정 패턴을 보인다면, 그 뒤에는 학습 데이터의 편향, RLHF 과정에서의 보상 해킹, 아니면 시스템 프롬프트와의 상호작용 같은 구조적 원인이 있을 가능성이 높다.
이 이슈가 중요한 이유는, Claude를 API로 사용하는 개발자라면 언제든 마주칠 수 있는 문제이기 때문이다. Claude가 갑자기 예상과 다르게 응답하면, 그건 단순히 "프롬프트를 더 잘 써야겠다"로 끝나는 게 아니라, 모델 자체의 행동 경향을 이해하고 방어적으로 설계해야 한다는 걸 의미한다. 특히 자동화 파이프라인에서 Claude를 사용할 때, 이런 예측 불가능성은 치명적이다.
개발자 관점에서 핵심은, LLM의 출력을 신뢰할 수 없다는 전제 하에 시스템을 설계해야 한다는 거다. 구조화된 출력을 강제하든, 응답을 검증하는 guardrail을 넣든, fallback 체인을 구성하든—어쨌든 "LLM이 항상 예상대로 동작할 것"이라는 가정은 버려야 한다. 이건 게임 서버에서 외부 API 호출할 때 타임아웃과 재시도 로직을 넣는 것과 같은 맥락이다.外部 의존성은 언제든 실패할 수 있고, 실패 모드를 미리 정의해둬야 한다.
💭 개발자 관점에서의 정리
Simon Willison의 이 글은 Claude뿐 아니라 모든 LLM에 해당하는 근본적인 문제를 건드린다. "모델이 왜 이렇게 행동하는지"를 이해하는 건, API를 호출해서 결과를 받아쓰는 수준을 넘어서 LLM을 실제 프로덕션에 안정적으로 통합하려는 개발자에게 필수적인 감각이다. UE5에서 C++ 메모리 관리를 이해해야 안정적인 게임을 만들 수 있는 것처럼, LLM의 행동 패턴을 이해해야 안정적인 AI 앱을 만들 수 있다.
LLM은 블랙박스가 아니다. 행동 패턴을 관찰하고 원인을 추적하면, 예측 가능성을 높일 수 있다. 그게 안 되면 최소한 실패 모드라도 명확히 정의해둬야 한다.