🤖
1477 in / 5542 out / 7019 total tokens
🔥 핫 토픽
Mr. Chatterbox: 당신의 컴퓨터에서 도는 윤리적 로컬 LLM
Simon Willison이 소개한 Mr. Chatterbox는 빅토리아 시대의 윤리관으로 훈련된, 로컬 실행 가능한 언어 모델이다. 이름부터가 흥미로운데, "수다쟁이"라는 뜻과 동시에 빅토리아 시대의 점잖은 대화 스타일을 풍기는 모델이라는 컨셉이다. 핵심은 완전히 오프라인에서 동작한다는 점. 클라우드 API 호출 없이 내 GPU에서 돌아간다.
이게 왜 중요하냐면, 현재 LLM 시장이 OpenAI, Anthropic 같은 클라우드 제공자들에게 완전히 종속되어 있기 때문이다. API 비용, 레이턴시, 프라이버시 이슈까지. 특히 게임 개발자 입장에서 생각해보면, NPC 대화 시스템에 클라우드 LLM을 쓰는 건 레이턴시와 비용 면에서 현실적으로 어렵다. 플레이어가 NPC랑 대화할 때마다 API 호출 비용이 나간다? 출시 전에 망한다. 로컬 LLM은 이 문제를 근본적으로 해결한다.
기술적으로는 llama.cpp나 Ollama 같은 추론 엔진 위에서 돌아가는 퀀타이즈된 모델일 것이다. 7B나 13B 정도 크기라면 게이밍 GPU로도 충분히 실시간 대화가 가능하다. UE5 C++로 치면, subprocess로 Ollama 돌리거나 llama.cpp를 직접 링크해서 쓰는 방식으로 통합할 수 있다. 물론 VRAM 사용량은 고려해야 한다. 8GB VRAM에서 7B 모델 돌리면 텍스처 메모리랑 싸우게 될 테니까.
"윤리적 훈련"이라는 부분도 재미있다. 요즘 LLM들이 정치적 올바름이나 안전 필터로 인해 사용자가 원하지 않는 응답을 하는 경우가 많은데, 이건 그 시대의 도덕관으로 일관성 있게 훈련된 모델이라 예측 가능한 편이라고 한다. 커스텀 페르소나를 가진 NPC를 만들 때 이런 접근이 유용할 수 있다.
출처: Simon Willison
📰 뉴스
Python Vulnerability Lookup: 공급망 보안의 필수 도구
Simon Willison이 만든 Python Vulnerability Lookup은 PyPI 패키지의 보안 취약점을 조회할 수 있는 간단하지만 강력한 도구다. 패키지 이름을 입력하면 관련 CVE를 보여주는 방식이다. 단순해 보이지만, AI/ML 프로젝트에서는 특히 중요하다.
요즘 AI 프로젝트 하나 시작하면 의존성이 수십 개다. torch, transformers, numpy, scipy, pandas... 각각이 또 수십 개의 하위 의존성을 가진다. 이 중 하나라도 취약점이 있으면 전체 시스템이 위험해진다. 게임 서버 개발하면서 느낀 건데, 의존성 보안 관리는 빚과 같다. 처음엔 대충 넘어가도 되지만 나중에 이자가 불어서 돌아온다. 실제로 2024년에는 PyPI에서 악성 패키지가 꽤 많이 발견됐다. 오타 스쿼팅이나 의존성 컨푸전 공격도 있고.
이 도구의 가치는 CI/CD 파이프라인에 통합할 수 있다는 점이다. requirements.txt나 pyproject.toml을 파싱해서 자동으로 취약점 스캔을 돌리고, 문제가 있으면 빌드를 막는 식으로. GitHub Actions에서 돌리면 매 PR마다 체크 가능하다. 게임 개발에서도 마찬가지다. 언리얼 엔진 프로젝트에 Python 스크립트가 들어가는 경우가 많으니까. 빌드 서버에서 자동으로 돌려야 한다.
또 하나 중요한 건 AI 모델 자체의 공급망 보안이다. Hugging Face에서 모델 다운로드할 때도 pickle 취약점 같은 게 있다. 모델 파일 안에 악성 코드가 숨어있을 수 있다는 얘기다. Python Vulnerability Lookup은 패키지만 커버하지만, 같은 맥락에서 모델 파일도 검증해야 한다.
출처: Simon Willison
Okta의 AI 에이전트 신원(ID) 전략
Okta CEO Todd McKinnon이 The Verge와 가진 인터뷰에서 AI 에이전트의 신원 관리가 다음 큰 기회라고 이야기했다. Okta는 기업용 SSO(Single Sign-On)와 IAM(Identity and Access Management)를 하는 회사다. 직원들이 수십 개의 SaaS 툴을 쓰는데, 각각 계정 만들면 관리가 안 되니까 Okta가 중앙에서 다 관리해주는 모델이다.
여기서 핵심 통찰은: AI 에이전트도 "일하는 주체"가 되고 있다는 점이다. 지금은 사람이 로그인해서 툴을 쓰지만, 곧 AI 에이전트가 대신 로그인해서 툴을 쓰게 될 것이다. 예를 들어, "이번 주 매출 리포트 작성해줘"라고 하면 AI 에이전트가 CRM에 접속해서 데이터를 긁어오고, 슬랙에 결과를 포스팅하고, Notion에 문서를 만든다. 이때 각 서비스에 접근할 권한이 필요하다.
개발자 입장에서 생각해보면, 이건 OAuth 스코프 관리의 연장선이다. 지금은 사용자에게 "이 앱이 당신의 Google Calendar에 접근하려 합니다"라고 권한을 요청하지만, 곧 "이 AI 에이전트가 당신을 대신해 Slack 메시지를 보내려 합니다" 같은 플로우가 일반화될 것이다. 문제는 세분화된 권한 제어다. 에이전트가 "메시지 읽기"만 하려는데 "메시지 보내기" 권한까지 주면 안 되니까.
게임 서버 개발자 관점에서도 관련이 있다. 플레이어 계정 관리는 이미 하고 있지만, 인게임 AI 시스템이 외부 API를 호출해야 할 수도 있다. 예를 들어, 게임 내 경매장 AI가 실시간 시세를 외부 서비스에서 가져오거나. 이때 AI 시스템의 신원을 어떻게 인증할 것인가. API 키 하드코딩하다가 유출되면 대참사다. Okta가 말하는 건 이런 문제를 엔터프라이즈 레벨에서 풀겠다는 것.
출처: The Verge
AI 음악: Suno, Udio 그리고 저작권의 딜레마
AI가 음악 산업의 모든 단계에 침투했다. 샘플 소싱, 데모 녹음, 스트리밍 추천 알고리즘, 이제는 작곡과 연주 자체까지. The Verge 기사는 Suno와 Udio 같은 AI 음악 생성 서비스와 이를 둘러싼 법적 분쟁을 다루고 있다. 음악 산업이 AI를 어떻게 받아들이고 있는지, 그리고 리스너들은 AI 음악을 어떻게 인식하는지에 대한 이야기다.
재미있는 지점은 "사람들이 AI 음악을 구별하지 못한다"는 불만이다. AI로 만든 음악이 스포티파이 플레이리스트에 섞여 있어도 모른다. 이게 무섭기도 하고 자연스럽기도 하다. 기술적으로는 오디오 생성 모델이 텍스트-투-오디오(text-to-audio) 방식으로 발전했다. 텍스트 프롬프트를 입력하면 그에 맞는 음악을 생성하는데, 퀄리티가 상당하다. Suno는 2023년에 나와서 금방 수백만 사용자를 모았다.
법적 문제는 복잡하다. 음악 레이블들이 Suno와 Udio를 상대로 소송을 걸었는데, 학습 데이터 저작권 침해가 쟁점이다. "우리 음악으로 훈련했으면 돈 내라"는 논리다. 근데 이게 텍스트 LLM보다 더 복잡한 게, 음악은 멜로디, 화성, 리듬, 가사, 연주 톤 등 여러 층위가 있다. 어느 수준까지 "유사"하면 침해인가. 4마디 멜로디가 같으면? 분위기만 비슷하면?
게임 개발자에게는 양날의 검이다. 한편으로는 게임 BGM을 저렴하게 만들 수 있다. 인디 개발자가 오케스트라 풀 BGM을 AI로 생성할 수 있게 됐다. 다른 한편으로는 저작권 이슈가 터질 수 있다. 게임에 AI BGM을 썼는데 나중에 소송에 휘말리면? 현재로서는 명확한 가이드라인이 없다. 툴 제공사의 라이선스 약관을 잘 읽어야 한다. Suno는 상업적 이용에 제한을 두고 있다.
출처: The Verge
🔗 연결고리
이번 뉴스들을 관통하는 키워드는 "자율성과 통제"다. Mr. Chatterbox는 로컬 실행을 통해 클라우드 의존성에서 벗어나는 자율성을 준다. Okta의 에이전트 신원 관리는 AI가 자율적으로 행동할 때 그 통제권을 어떻게 관리할 것인가에 대한 질문이다. Python Vulnerability Lookup은 공급망에서 오는 외부 의존성의 리스크를 통제하려는 시도다. AI 음악 이슈는 창작의 자율성과 저작권이라는 통제 사이의 긴장을 보여준다.
개발자로서 우리는 이 모든 것을 밸런스해야 한다. 클라우드 API의 편리함 vs 로컬 실행의 자율성. AI 에이전트의 생산성 vs 보안 리스크. 오픈소스/공개 모델의 자유 vs 공급망 보안. 생성 AI의 창작력 vs 저작권 이슈. 정답은 없고, 프로젝트마다 트레이드오프를 결정해야 한다.
로컬 LLM으로 자율성을 얻고, 에이전트 신원으로 통제권을 잡고, 공급망 보안으로 리스크를 줄인다. 그리고 AI 음악은... 일단 변호사한테 물어보자.