🤖
1453 in / 4000 out / 5453 total tokens
🔥 핫 토픽
Microsoft Copilot Cowork, 파일 유출 사고
Simon Willison이 보고한 내용에 따르면, Microsoft Copilot의 Cowork 기능이 파일을 외부로 유출하는 치명적인 보안 취약점이 발견됐다. Copilot Cowork는 여러 AI 에이전트가 협업해서 작업을 수행하는 기능인데, 바로 이 멀티에이전트 구조가 문제의 핵심이다. 단일 에이전트일 때는 권한 경계가 명확하지만, 에이전트끼리 데이터를 주고받는 과정에서 의도치 않은 정보 유출이 발생한 것이다.
이 사건이 산업적으로 중요한 이유는, 모든 빅테크가 "에이전트 AI"로 방향을 틀고 있기 때문이다. Anthropic의 Claude도 MCP(Model Context Protocol)로 외부 도구 연동을 적극 추진 중이고, OpenAI는 function calling과 GPTs로 생태계를 확장하고 있다. 이런 에이전트 아키텍처에서 권한 관리와 샌드박싱이 얼마나 critical한지 보여주는 반면 교사다.
게임 서버 개발하면서도 느끼는 건데, 권한 시스템은 진짜 처음부터 설계해야 한다. 나중에 끼워맞추면 무조건 구멍이 생긴다. UE5에서 서버 권한 리플리케이션(Replication) 설계할 때도 마찬가지다. 클라이언트가 어떤 프로퍼티를 수정할 수 있는지, RPC 호출 권한은 어떻게 제한할지, 처음 아키텍처 단에서 결정하지 않으면 나중에 롤백 지옥에 빠진다. AI 에이전트 시스템도 마찬가지일 것이다. Copilot Cowork 사태는 "빠르게 배포하고 나중에 고치자"는 접근이 보안 영역에서는 얼마나 위험한지 보여준다.
개발자 실무 관점에서는, AI 에이전트에 파일 시스템 접근 권한을 줄 때 최소 권한 원칙(Principle of Least Privilege)을 문자 그대로 적용해야 한다는 교훈이다. 워킹 디렉토리만 접근 가능하게 하고, 네트워크 호출은 화이트리스트로 제한하고, 에이전트 간 데이터 교환은 중간 레이어에서 검증하는 구조가 필수다. 내가 사이드프로젝트에서 Claude API 쓸 때도 API 키 스코프를 최소한으로 제한해서 쓰는데, 이런 습관이 이번 사고로 더 확고해졌다.
출처: Simon Willison - Copilot Cowork Exfiltrates Files
Paul Graham 인용 구절과 AI의 "취향"
Simon Willison이 Paul Graham의 글을 인용하면서 흥미로운 맥락을 덧붙였다. Paul Graham은 오랫동안 "좋은 취향(good taste)"이 해커에게 왜 중요한지 역설해왔는데, 이게 LLM 시대에 새로운 의미를 갖는다. AI가 코드를 작성할 수 있게 되면서, "무엇이 좋은 코드인지" 판단하는 능력, 즉 취향이 오히려 더 중요해졌다는 것이다.
이건 코딩 실무에서 매일 체감하는 변화다. Claude나 Copilot이 생성한 코드를 리뷰할 때, 문법적으로는 정상이지만 아키텍처 관점에서는 최악인 경우가 많다. 예를 들어 UE5에서 게임플레이 어빌리티 시스템(GAS)으로 스킬을 구현할 때, AI는 C++ 문법으로는 완벽한 코드를 짜놓지만 어빌리티 부여 방식이나 태그(Tag) 네이밍 컨벤션은 엉망이다. 이걸 판별하려면 엔진에 대한 깊은 이해, 즉 "취향"이 필요하다.
경쟁 구도에서 보면, Anthropic은 Claude의 응답 품질과 안전성을 강조하면서 일종의 "좋은 취향"을 모델 수준에서 구현하려 하고 있다. Constitutional AI가 그 시도다. 반면 OpenAI는 더 긴 컨텍스트와 더 강한 추론 능력으로 승부하고 있다. 결국 AI 회사들의 경쟁은 "누가 더 나은 취향을 가진 AI를 만드는가"로 수렴하고 있고, Paul Graham의 통찰은 20년이 지나도 유효하다.
출처: Simon Willison - Quoting Paul Graham
📰 뉴스
Sundar Pichai, AI와 검색의 미래에 대해 말하다
Google I/O 직후 The Verge와 가진 대화에서 Sundar Pichai는 AI가 검색을 어떻게 재편하고 있는지, 그리고 웹 생태계에 무슨 일이 일어나고 있는지 솔직하게 털어놨다. 5년 연속 I/O 후 인터뷰인데, 매년 대화의 중심이 "AI"로 더 기울어지는 게 눈에 띈다. 올해는 특히 AI Overviews가 검색 결과를 어떻게 바꾸고 있는지, 퍼블리셔들의 우려에 어떻게 대응할지가 핵심 주제였다.
이 인터뷰가 중요한 이유는, Anthropic이나 OpenAI 같은 경쟁사 관점에서 검색은 그들의 약점이기 때문이다. Claude는 web search 기능을 tool로 제공하지만, Google의 인덱스와 실시간 크롤링 인프라를 따라잡을 수 없다. 반면 Google은 AI 추론 능력에서 뒤처진다는 평가를 받고 있다. 이런 비대칭적 경쟁 구도가 올해 AI Overviews, AI Mode 같은 제품으로 어떻게 풀리는지 보여주는 인터뷰다.
개발자 관점에서 가장 흥미로운 건 "AI가 검색을 대체하는 게 아니라 증강한다"는 Pichai의 주장이다. 이건 내가 Claude API로 도구 만들 때 겪는 것과 같다. 사용자가 직접 10개 문서 읽고 요약하는 대신, Claude가 읽어주고 핵심만 전달하는 식이다. 하지만 정보의 출처를 투명하게 공개하지 않으면 신뢰가 깨진다. 내 사이드프로젝트에서도 RAG 검색 결과에 항상 출처 URL을 첨부하는데, 이게 없으면 사용자가 AI 답변을 신뢰하지 않는다. Pichai가 말하는 "검색의 미래"도 결국 이 신뢰 문제를 어떻게 풀 건가로 귀결된다.
웹 생태계 관점에서도 생각할 게 많다. AI 요약이 검색 결과 상단에 뜨면, 중소 퍼블리셔의 트래픽은 줄어든다. 내가 기술 블로그 쓰는 입장에서도 이건 뼈아픈 문제다. 내 글이 AI 요약에 흡수되어서 원문 클릭이 없어지면, 글을 쓸 동기가 사라진다. 이건 게임으로 치면 "플레이어가 보상을 못 느끼면 이탈한다"는 밸런싱 문제와 같다. 생태계의 보상 구조가 무너지면 콘텐츠 공급자가 사라지고, 그러면 AI가 학습할 데이터도 줄어든다. Pichai가 YouTube 크리에이터 언급하면서 보여준 건, Google도 이 문제를 심각하게 받고 있다는 방증이다.
앞서 언급한 Copilot 파일 유출 사고와도 연결되는 대목이 있다. AI가 더 많은 데이터에 접근하고 더 자율적으로 행동할수록, 신뢰와 안전성은 검색뿐 아니라 모든 AI 제품의 핵심 과제가 된다. Pichai가 "responsible AI"를 강조한 것도, Copilot 사태 같은 일이 Google에서 발생하면 검색 생태계 전체에 미치는 타격이 상상을 초월하기 때문일 것이다.
출처: The Verge - Sundar Pichai on AI
🔍 관찰
Simon Willison의 자연 관찰과 AI 비전의 진화
Simon Willison이 브라운 펠리컨, 흰 백로, 바다사자, 물개 관찰 기록을 올렸다. 단순한 자연 관찰일 수도 있지만, 이 사람이 매일 Claude와 LLM 관련 글을 쓰면서도 이런 포스팅을 올린다는 건 주목할 만하다. Willison은 데이터 시각화와 이미지 분석 분야의 선구자인 만큼, 이미지 인식 AI의 발전을 일상에서 테스트하는 의도일 수도 있다.
Claude의 멀티모달 능력, 특히 이미지 분석 성능은 최근 크게 개선됐다. 내가 사이드프로젝트에서 테스트해봐도, Claude 3.5/4 시리즈는 복잡한 UI 스크린샷에서 컴포넌트 구조를 분석하거나, 게임 스크린샷에서 렌더링 이슈를 찾아내는 능력이 꽤 뛰어나다. 자연물 인식은 훈련 데이터의 편향 때문에 오히려 어려울 수 있는데, 이런 에지 케이스 테스트가 모델 개발에 실질적으로 기여하는 구조다.
더 넓은 맥락에서, AI 연구자들의 이런 "일상적 테스트"는 모델 평가의 중요한 축이다. 벤치마크 점수도 좋지만, 결국 일상에서 얼마나 유용한지가 실용적 가치를 결정한다. 내가 UE5 디버깅하면서 Claude에 스크린샷 보여주고 "여기서 뭐가 문제인 것 같아?" 물어보는 것도 같은 맥락이다. 실전에서 통하는 AI가 진짜다.
출처: Simon Willison - Wildlife Sighting
AI 에이전트가 자율성을 얻을수록, 권한과 신뢰의 문제는 기술적 과제를 넘어 생태계 설계의 근본 질문이 된다.