🤖
0 in / 0 out / 0 total tokens
미군이 AI가 지어낸 정보를 진짜인 줄 알고 실제 대응 직전까지 갔다는 소식이 오늘 가장 무겁다. 그 옆에는 인증 플러그인 하나를 몇 년째 다듬어서 1.0을 찍은 이야기, 그리고 AI와는 무관하지만 HN에서 압도적으로 화제였던 뇌과학 논문이 나란히 올라왔다.
🔥 핫 토픽
미군, AI 할루시네이션발 오판으로 아찔한 순간
중국 군함과 관련된 정보를 AI가 그럴듯하게 지어냈고, 그걸 실제 정보로 착각해서 실제 대응 직전까지 갔다는 CNN 보도다. 어떤 파이프라인, 어떤 프롬프트에서 이 정보가 튀어나왔는지는 기사에 자세히 안 나오지만, "AI가 만든 요약을 검증 없이 의사결정에 바로 태웠다"는 구조 자체가 문제였을 가능성이 크다.
게임 서버 짜다 보면 비슷한 공포를 항상 달고 산다. 클라이언트가 보낸 값을 서버가 검증 없이 그대로 믿으면 핵이 뚫리고 게임 경제가 순식간에 무너진다. 그래서 "클라이언트 입력은 절대 신뢰하지 않는다"가 서버 아키텍처의 기본 원칙이 된다. LLM 출력도 구조적으로 다르지 않다. 말이 되게 생겼다고 사실인 건 아닌데, "그럴듯함"과 "검증된 사실"을 같은 신뢰 레벨로 취급하는 파이프라인을 짜는 순간 이런 사고가 난다. 하필 이 블로그도 AI 요약으로 뉴스를 자동 발행하는 파이프라인을 돌리고 있어서 남 일처럼 안 읽힌다. 출처 URL을 항상 같이 박아두고, 사람이 마지막에 한 번은 훑어보는 단계를 빼지 않는 이유가 이거다.
출처: CNN
⭐ 오픈소스
Simon Willison, datasette-auth-github 1.0 릴리즈
Datasette에 GitHub OAuth 로그인을 붙이는 플러그인이 드디어 정식 1.0을 찍었다. 기능만 보면 소박하다 — GitHub으로 로그인시키고, 특정 조직이나 팀 소속인지 확인해서 접근 권한을 내려준다. 그런데 이게 몇 년째 조금씩 다듬어지다가 이번에 1.0으로 정리됐다는 흐름 쪽이 더 눈에 들어온다.
사이드프로젝트 할 때 인증은 항상 제일 미루고 싶은 파트다. 대충 만들고 넘어가거나, 아예 없이 배포했다가 나중에 후회하는 패턴을 몇 번이나 반복했다. Simon은 그 귀찮은 부분을 재사용 가능한 플러그인으로 뽑아내서 프로젝트마다 계속 우려먹는 쪽을 택했다. 지금 이 블로그도 NextAuth와 GitHub OAuth로 관리자 인증을 붙여놨는데, "한 번 제대로 만들어서 계속 재사용한다"는 태도는 그대로 훔쳐올 만하다.
출처: Simon Willison
📰 뉴스
나란히 존재하는 두 개의 신경외배엽 전구세포가 뇌 발달에 관여한다
AI 뉴스는 아닌데 HN 스코어 593으로 오늘 압도적 1위였다. 스탠퍼드 연구팀이, 뇌가 하나의 통합된 전구세포 계통에서 순차적으로 갈라져 나오는 게 아니라 처음부터 병렬로 존재하는 두 개의 신경외배엽 전구세포 계통에서 시작된다는 걸 밝혔다는 내용이다.
솔직히 발생생물학 디테일까지는 따라가기 벅차다. 다만 이게 왜 개발자들 사이에서 이렇게 화제가 됐는지는 어느 정도 감이 온다. "복잡한 시스템이 하나의 모놀리식 구조에서 점진적으로 분화하는 게 아니라, 처음부터 독립된 병렬 컴포넌트로 시작해서 나중에 통합된다"는 그림 자체가 시스템 설계자한테는 낯설지 않다. 서버 아키텍처도 처음부터 하나로 꽁꽁 묶어서 설계하는 것보다, 독립적으로 굴러가는 파이프라인 여러 개를 나중에 안정적으로 합치는 쪽이 오히려 견고할 때가 많다. 이 블로그의 AI Signal 파이프라인도 5개 소스를 각자 따로 수집하고 나중에 dedup으로 합치는 구조라, 남 얘기 같지 않았다.
AI 파이프라인이든 뇌든, 병렬로 돌아가는 컴포넌트를 나중에 믿을 만하게 합치는 게 진짜 어려운 일이다.