🤖
1480 in / 4950 out / 6430 total tokens
🔥 핫 토픽
llama.cpp, GitHub 10만 스타 달성
Georgi Gerganov의 llama.cpp가 GitHub에서 10만 스타를 돌파했다. 2023년 초 Meta가 LLaMA 모델을 공개했을 때만 해도 로컬에서 LLM을 돌린다는 건 상상하기 힘든 일이었다. 그런데 단순한 C++ 포팅 프로젝트로 시작한 이게 이제는 생태계 전체를 집어삼킬 기세다. GGUF 포맷은 사실상 업계 표준이 됐고, Ollama, LM Studio, 심지어 Unreal Engine 플러그인들까지 모두 이걸 백엔드로 쓴다.
게임 개발자 입장에서 보면 이건 단순한 "인기"가 아니다. 언리얼 엔진에서 C++로 게임 만들 때, 외부 라이브러리 통합이 얼마나 고통스러운지 아는 사람은 안다. 헌데 llama.cpp는 의존성을 최소화해서 그냥 소스 몇 개만 끌어다 쓰면 된다. 심지어 AVX2, NEON 같은 SIMD 최적화도 알아서 처리해준다. 서버 아키텍처 감각으로 보면, 이건 "잘 설계된 레거시 코드"의 승리다. 과도한 추상화 없이, 하드웨어에 맞춰 직접 최적화하는 방식. 게임 루프 최적화랑 똑같은 철학이다.
10만 스타가 의미하는 건 단순히 사용자가 많다는 게 아니다. 이제 로컬 LLM이 "취미"에서 "프로덕션 레디"로 넘어갔다는 신호다. 실제로 나도 사이드 프로젝트에서 llama.cpp 기반 추론 서버를 돌리고 있는데, 안정성이랑 메모리 관리 측면에서 믿을 만하다. CUDA 직접 건드리는 것보다 훨씬 덜 스트레스받는다.
출처: Georgi Gerganov 트윗 | llama.cpp GitHub
📰 뉴스
Bluesky, AI로 커스텀 피드 만드는 'Attie' 공개
Bluesky 팀이 Atmosphere 컨퍼런스에서 Attie라는 새로운 AI 앱을 공개했다. 핵심은 사용자가 자신만의 알고리즘을 AI랑 대화하면서 만들 수 있다는 거다. "나한테 이런 글만 보여줘"라고 자연어로 말하면, Attie가 그걸 피드 필터로 변환해준다. 기존 Bluesky의 커스텀 피드 시스템을 AI로 래핑한 셈인데, 생각보다 파급력이 클 수 있다.
왜 이게 중요하냐면, 지금까지 소셜 미디어 알고리즘은 "블랙박스"였다. 트위터나 틱톡이 무슨 기준으로 글을 추천하는지 사용자는 알 수 없었다. 근데 Attie는 그걸 완전히 투명하게 만든다. 사용자가 직접 알고리즘을 작성하고, 수정하고, 공유할 수 있다. 이건 게임으로 치면 "모딩"을 공식 지원하는 거랑 비슷하다. 플레이어가 게임 룰을 바꿀 수 있게 하는 거다.
개발자 관점에서는 프롬프트 엔지니어링이 결국 DSL(도메인 특화 언어) 생성으로 수렴한다는 걸 보여준다. Attie가 사용자 프롬프트를 받아서 내부적으로 쿼리 언어로 변환할 텐데, 이 과정이 LLM의 함수 호출 능력을 활용한 거다. 나도 UE5에서 퀘스트 시스템 만들 때 비슷한 고민을 한 적 있다. 기획자가 자연어로 퀘스트 조건을 말하면, 그걸 코드로 변환해서 실행하는 시스템. LLM이 중간에 들어가면 가능해지는 일이다.
소셜 미디어의 "알고리즘 해방"이란 관점에서도 흥미롭다. 플랫폼이 추천을 독점하지 않고, 사용자가 직접 큐레이션하는 구조. 게임으로 치면 서버 사이드 매치메이킹을 클라이언트 사이드로 가져오는 거다. 물론 남용 가능성도 있다. 필터 버블이 극단화될 수 있으니까. 근데 적어도 선택권은 사용자에게 있다는 게 큰 차이다.
출처: The Verge - Bluesky's Attie
Simon Willison, llama.cpp 창시자 Georgi Gerganov 인용
Simon Willison이 블로그에서 Georgi Gerganov의 발언을 인용하며 llama.cpp의 의미를 짚었다. Willison은 LLM 생태계에서 가장 신뢰할 만한 목소리 중 하나다. 그가 주목했다는 건 llama.cpp가 단순한 "토이 프로젝트"를 넘어섰다는 방증이다. 실제로 그는 일찍이 로컬 LLM의 가능성을 강조해왔고, 자신의 프로젝트들에서도 적극 활용하고 있다.
이 인용글의 맥락을 보면, Gerganov가 프로젝트 철학에 대해 뭔가 이야기한 것 같다. 정확한 내용은 원문을 봐야겠지만, 아마도 "최소 의존성"과 "하드웨어 최적화"에 대한 이야기일 거다. 이건 게임 개발에서도 동일하게 중요한 원칙이다. 언리얼 엔진이 왜 여전히 C++ 기반인지 생각해보라. 엔진 레벨에서는 추상화보다 제어권이 중요하다.
Willison이 이걸 따로 포스팅했다는 건, llama.cpp의 접근 방식이 더 넓은 소프트웨어 개발 커뮤니티에 영감을 줄 수 있다는 뜻이다. 특히 웹 개발자들에게는 낯선 방식일 거다. npm install로 모든 걸 해결하던 세계에서, 직접 메모리 관리하고 SIMD 명령어 쓰는 방식. 근데 LLM 추론은 그 정도 저수준 최적화가 필요한 영역이라는 걸 보여준다.
앞서 10만 스타 이야기랑 연결하면, llama.cpp의 성공은 "올바른 기술 부채 관리"의 결과다. 처음부터 완벽하게 설계한 게 아니라, 필요한 것만 만들고 나머지는 과감히 빼버린 거다. 게임 개발에서도 프로토타입이랑 실제 프로덕션 사이의 이 경계를 잘 나누는 게 중요하다. llama.cpp는 그게 잘 된 케이스다.
출처: Simon Willison - Georgi Gerganov
⭐ 오픈소스
datasette-llm 0.1a3 릴리즈
Simon Willison이 datasette-llm 0.1a3 버전을 공개했다. Datasette는 그가 만든 데이터 탐색 도구인데, 이걸 LLM이랑 연동하는 플러그인다. 쉽게 말해 SQL 데이터베이스에 자연어로 질문할 수 있게 만드는 거다. "지난달 매출 top 10 항목 알려줘"라고 물으면, LLM이 SQL 쿼리를 생성해서 실행하고 결과를 보여준다.
이게 왜 중요하냐면, 게임 데이터 분석이나 서버 로그 분석할 때 진짜 편해진다. 나도 UE5 Dedicated 서버 돌리면서 로그 쌓이는 걸 보곤 하는데, 원하는 정보 찾으려면 매번 SQL 짜야 한다. 근데 이런 도구 쓰면 그냥 물어보면 된다. 물론 보안 이슈는 있다. LLM이 멍청한 쿼리를 날려서 DB를 터뜨릴 수도 있으니까. 그래서 read-only 권한이나 샘플 DB에서 먼저 돌려봐야 한다.
기술적으로는 Text-to-SQL 문제를 다루는 건데, 최근 LLM들이 이 분야에서 꽤 괜찮은 성능을 보인다. 특히 스키마 정보를 컨텍스트로 주면, 복잡한 조인 쿼리도 꽤 잘 만든다. 물론 100% 신뢰는 안 된다. 그래서 이 플러그인도 생성된 쿼리를 먼저 보여주고 실행 여부를 물어보는 방식일 거다. 안전장치가 필수다.
Willison의 프로젝트들은 항상 "실용성"이 돋보인다. 화려한 데모가 아니라, 실제로 써먹을 수 있는 도구를 만든다. datasette-llm도 마찬가지다. 데이터 사이언스 배경 없는 개발자도 자기 DB를 자연어로 탐색할 수 있게 해준다. 게임 개발자로서 플레이 데이터 분석할 때 유용할 거다. 특히 기획자가 "이런 데이터 뽑아줘"라고 요청할 때, SQL 몰라도 스스로 할 수 있게 해주니까.
출처: Simon Willison - datasette-llm 0.1a3
💭 마무리
오늘 뉴스들을 관통하는 키워드는 "로컬"과 "사용자 제어"다. llama.cpp는 LLM을 로컬로 가져왔고, Attie는 알고리즘 제어권을 사용자에게 돌려줬다. datasette-llm은 데이터 분석을 자연어로 접근 가능하게 만들었다. 공통점은 중간에 있던 "전문가 레이어"를 LLM이 대체한다는 거다. 이제 C++ 몰라도 로컬 LLM 쓰고, SQL 몰라도 데이터 분석하고, 추천 알고리즘 몰라도 내 피드를 만든다.
기술의 민주화란, 전문 지식을 코드로 묶어서 더 많은 사람에게 배포하는 일이다.