🤖
1295 in / 4790 out / 6085 total tokens
🔥 핫 토픽
Miasma: AI 웹 스크래퍼를 무한 함정에 가두는 도구
원문: GitHub - austin-weeks/miasma
해커 뉴스에서 323점을 받으며 큰 화제가 된 Miasma는 AI 웹 스크래퍼를 "끝없는 독 구덩이"에 가두는 오픈소스 도구다. 이 도구의 작동 원리는 흥미롭다. 웹사이트에 숨겨진 링크들을 생성해두고, AI 스크래퍼가 이를 따라가면 또 다른 가짜 페이지, 또 다른 가짜 링크가 무한히 생성되는 구조다. 스크래퍼는 영원히 탈출할 수 없는 미로에 갇히게 된다.
이게 왜 중요하냐 하면, 현재 AI 기업들이 대규모 데이터를 긁어가는 건 업계의 공공연한 비밀이다. OpenAI, Anthropic, Google 같은 기업들은 웹 전체를 긁어 모델을 학습시킨다. 콘텐츠 크리에이터와 웹사이트 운영자 입장에선 억울할 수밖에 없다. robots.txt를 무시하는 스크래퍼도 많고, IP 차단해도 봇넷으로 돌아오니 방어가 사실상 불가능하다. Miasma는 이런 불균형한 힘의 관계에서 콘텐츠 생산자가 쓸 수 있는 일종의 비대칭 전술을 제공한다.
개발자 관점에서 보면 이건 일종의 "tarpit" 개념을 AI 시대에 맞게 재해석한 것이다. 예전에 스패머 봇을 느려지게 만드는 SMTP tarpit이 있었는데, 그 아이디어를 HTTP 레벨에서 구현한 셈이다. 구현상 재미있는 점은 링크를 동적으로 무한 생성하면서도 실제 서버 리소스는 거의 안 쓴다는 것. 링크는 존재하지만 실제로는 아무 콘텐츠도 없는 허상 페이지들이라 서버 부하가 minimal하다. 반면 스크래퍼는 이를 전부 크롤링하려다 CPU와 메모리를 낭비하게 된다.
게임 개발자로서 연상되는 건 "타워 디펜스"다. 적(스크래퍼)이 내 리소스(콘텐츠)를 훔치러 오는데, 이를 늪지대로 유인해서 무력화시키는 전략. UE5로 치면 AI 컨트롤러가 Navigation Mesh에서 길을 잃고 헤매게 만드는 trap 시스템과 유사하다. 물론 이게 완벽한 방어는 아니다. 정교한 스크래퍼는 패턴을 인식하고 이런 trap 페이지를 필터링할 수 있다. 하지만 arms race의 한 round를 콘텐츠 생산자에게 가져다준 건 분명하다.
출처: GitHub - Miasma
📰 뉴스
Anthropic 모델 유출, OpenAI와 Anthropic 분쟁, 중요한 AI 아이디어
원문: TLDR Tech
TLDR이 정리한 이번 주 AI 이슈를 보면 몇 가지 흥미로운 포인트가 있다. Anthropic의 모델이 유출되었다는 소식, OpenAI와 Anthropic 사이의 분쟁, 그리고 "중요한 AI 아이디어"에 대한 논의다. 구체적인 유출 내용은 링크를 봐야 확인할 수 있지만, 모델 유출 자체가 갖는 의미는 크다.
모델 유출이 왜 중요하냐. 첫째, 수십억 달러를 투자해 학습시킨 모델이 무료로 풀려나면 기업의 비즈니스 모델이 무너진다. 둘째, 유출된 모델은 악의적 목적으로 사용될 수 있다. 딥페이크, 사기, 자동화된 해킹 등. 셋째, 오픈소스 진영에는 오히려 환영할 일이다. LLaMA 유출이 오픈소스 LLM 생태계를 폭발적으로 성장시킨 전례가 있다. Meta의 LLaMA가 유출된 후 llama.cpp, quantization 기법, 로컬 실행 도구들이 우후죽순으로 생겨났다. 유출이 혁신을 가속화한 역설적인 상황.
OpenAI와 Anthropic의 분쟁은 "AI 안전성"을 둘러싼 철학적, 상업적 충돌의 연장선에 있다. OpenAI는 "안전하면서도 강력한 AGI"를 표방하지만, 실제로는 속도전을 벌이고 있다는 비판을 받는다. Anthropic은 "Constitutional AI"라는 개념을 내세우며 더 보수적인 접근을 취한다. 하지만 시장에서 밀리면 말짱 꽝이다. Claude 3가 GPT-4를 따라잡았다는 평가도 나오고, 경쟁이 치열해질수록 두 회사 간의 신경전도 심해질 것이다. 재미있는 건 두 회사 모두 "안전한 AI"를 표방하면서도 서로를 "안전하지 않다"고 비난하는 구도다.
"중요한 AI 아이디어"라는 주제도 곱씹어볼 만하다. AI 연구에서 어떤 아이디어가 truly important한지 판단하는 건 어렵다. Transformer가 나왔을 때도 처음엔 그저 "또 다른 attention 메커니즘"으로 여겨졌다. 하지만 5년 뒤 모든 LLM의 기반이 됐다. 개발자 입장에서 중요한 건 "이 논문/아이디어가 5년 뒤에도 유효할까"다. Hype cycle에 휩쓸리지 않고 진짜 통찰을 골라내는 안목이 필요하다. 게임 개발에서도 마찬가지다. "AI NPC가 혁명적이다"라는 말은 10년 전에도 있었다. 하지만 실제로 게임플레이를 바꾼 건 몇 안 된다. 기술의 화려함보다 실제 적용 가능성과 한계를 파악하는 게 중요하다.
출처: TLDR Tech
OpenAI, 아시아 재난 대응 팀을 위한 AI 지원 프로그램
원문: OpenAI Blog
OpenAI가 빌 & 멀린다 게이트 재단과 협력하여 아시아 지역 재난 대응 팀들을 위한 워크숍을 진행했다. 재난 상황에서 AI를 실제 액션으로 전환하는 방법을 교육한 내용이다. 구체적으로는 홍수, 태풍, 지진 등 자연재해 발생 시 AI를 활용해 상황을 파악하고, 의사결정을 내리고, 자원을 배분하는 방법을 다룬다.
이 뉴스가 중요한 이유는 AI의 "실제 세계 적용" 사례가 쌓이고 있다는 점이다. 지금까지 AI는 주로 챗봇, 코드 작성, 이미지 생성 같은 디지털 영역에 집중됐다. 하지만 재난 대응은 물리적 세계에서 실제 사람의 생명과 직결된다. AI가 내린 결정이 잘못되면 사람이 죽을 수 있다. 반대로 잘 활용하면 살릴 수도 있다. 이런 high-stakes 환경에서 AI를 어떻게 안전하게 배포할지에 대한 노하우가 축적되고 있다.
개발자 관점에서 흥미로운 건 시스템 통합 측면이다. 재난 대응 AI는 단순히 LLM에게 질문하는 게 아니다. 위성 이미지 분석, 실시간 센서 데이터, 소셜 미디어 스트림, 역사적 재난 데이터 등을 모두 통합해야 한다. 그리고 결정을 내리면 실제 현장 팀에게 전달되는 파이프라인도 구축해야 한다. UE5 게임 서버 아키텍처와 비슷하다. 여러 데이터 소스를 aggregate하고, 처리하고, 액션을 dispatch하는 구조. latency도 중요하다. 재난 상황에서 1분의 차이가 생사를 가른다. Edge computing, 오프라인 동작, unreliable network에서의 fallback 등 고려할 게 많다.
기술적 배경을 조금 더 설명하면, 재난 대응 AI의 핵심은 "situational awareness"다. 현재 무슨 일이 벌어지고 있는지 파악하는 것. 이를 위해 RAG(검색 증강 생성) 구조가 많이 쓰인다. 실시간 데이터를 벡터 DB에 넣고, 관련 정보를 검색해서 LLM이 종합적으로 판단하는 방식. 멀티모달 모델이 중요한 이유도 여기에 있다. 텍스트 보고서만 아니라 위성 사진, 드론 영상, 지도 등을 함께 이해해야 한다. GPT-4V나 Claude 3의 비전 기능이 이런 시나리오에서 빛을 발한다. 물론 아직 완벽하진 않다. 할루시네이션이 생기면 재난 상황에서 치명적일 수 있어 human-in-the-loop 구조가 필수다.
출처: OpenAI Blog
🔗 연결고리
세 뉴스를 관통하는 키워드는 "AI의 양날의 검"이다. Miasma는 AI가 웹 콘텐츠를 무단으로 긁어가는 문제에 대한 방어 도구다. 모델 유출은 AI 기술 자체가 통제 밖으로 나갔을 때의 위험을 보여준다. 재난 대응 AI는 같은 기술이 인명 구조에 쓰이는 긍정적 사례다. 기술은 중립적이지만, 누가 어떻게 쓰느냐에 따라 결과가 완전히 달라진다. 개발자로서 우리는 이런 딜레마를 항상 염두에 둬야 한다. 내가 만드는 기술이 누구에게 이득이 되고, 누구에게 피해가 될지.
AI는 도구다. 망치를 들고 누굴 때릴지, 집을 지을지는 사용자에게 달렸다. 하지만 망치를 만드는 우리도 어떤 망치를 만들지 선택할 책임이 있다.