🤖
1303 in / 2996 out / 4299 total tokens
🔥 핫 토픽
ByteDance, 3B 파라미터로 모든 걸 하려는 Lance 오픈소스 공개
바이트댄스가 3B 파라미터밖에 안 되는 통합 멀티모달 모델 Lance를 오픈소스로 풀었다. 이미지 생성, 텍스트-투-비디오, 이해·생성을 하나로 묶은 게 핵심이다. Reddit r/LocalLLaMA에서 576점을 받으며 화제다.
왜 중요한가. 지금 멀티모달 모델 시장은 GPT-4o, Gemini, Claude 같은 거대 모델들이 휩쓸고 있다. 그런데 이건 다들 API로만 쓸 수 있고, 로컬에서 돌릴 수 있는 오픈 모델은 보통 7B 이상이어야 뭐라도 제대로 된 결과가 나온다. 3B로 이미지 생성까지 한다고? 이건 모바일이나 엣지 디바이스에서 멀티모달 AI를 돌릴 수 있다는 의미다. 게임 개발자 입장에서도 NPC의 로컬 추론 엔진으로 쓸 수 있는 가능성이 열린다.
기술적 배경. Lance는 "native unified multimodal"을 표방한다. 기존엔 비전 인코더, 언어 모델, 디코더를 각각 따로 만들고 나중에 합치는 방식이 많았다. unified라는 건 이걸 처음부터 하나의 아키텍처로 설계했다는 뜻이다. 3B 파라미터는 Llama 3.2 3B랑 비슷한 사이즈인데, 텍스트만 하는 게 아니라 이미지·비디오까지 커버한다. 당연히 트레이드오프가 있을 수밖에 없다. 각 태스크별 성능은 전용 모델만큼 나오진 않겠지만, "하나의 모델로 여러 작업을 어느 정도 수용 가능한 수준"으로 만들었다는 데 의의가 있다.
개발자에게 미치는 영향. 로컬 LLM 생태계가 계속 무거워지는 추세에서, 3B로 멀티모달을 시도했다는 건 실용적이다. 게임 클라이언트에 탑재해서 실시간으로 스크린샷을 이해하고 텍스트를 생성하거나, 간단한 이미지를 만들어내는 용도로 쓸 수 있다. 물론 실제 성능은 벤치마크를 봐야 알겠지만, 방향성 자체는 맞다. UE5에서 구동 중인 게임 세션 안에서 3B 모델을 돌릴 수 있다면, 서버 없이도 NPC가 플레이어 행동을 시각적으로 이해하고 반응하는 게 가능해진다. VRAM 6~8GB면 충분할 테니까.
한 가지 우려는 바이트댄스라는 회사의 특성상, 학습 데이터의 투명성이나 라이선스 이슈가 있을 수 있다는 점이다. 실제 프로덕션에 쓸 거면 라이선스를 꼭 확인해야 한다.
출처: Reddit r/LocalLLaMA - Lance
📰 뉴스
Simon Willison, datasette-llm 0.1a8 릴리즈
Simon Willison이 datasette-llm 0.1a8을 공개했다. datasette와 LLM을 연결하는 플러그인으로, SQL 쿼리로 LLM 결과를 다룰 수 있게 해준다.
왜 관심을 가져야 하나. Simon Willison은 LLM 생태계에서 꽤 영향력 있는 인물이다. LLM CLI 도구를 만들었고, datasette는 데이터 탐색 도구로 이미 많은 개발자가 쓰고 있다. 이 둘을 합친다는 건 "데이터 파이프라인 안에 LLM을 자연스럽게 녹인다"는 방향성이다. 게임 서버 로그, 플레이어 행동 데이터를 SQL로 쿼리하면서 동시에 LLM으로 분석 결과를 뽑아낼 수 있다.
실무 관점. 게임 개발에서 데이터 분석은 필수다. 플레이어 리텐션, 이탈 지점, 밸런스 문제를 찾을 때 로그 데이터를 SQL로 뒤지는 게 일상이다. 근데 여기에 LLM이 들어가면, "이 플레이어 세션에서 비정상적인 패턴이 있는가?" 같은 질문을 자연어로 던지고 SQL 결과와 결합해서 답을 얻을 수 있다. ETL 파이프라인을 따로 구축할 필요 없이 datasette 위에서 바로 돌리는 게 가능해진다.
기술적 배경. datasette는 SQLite 기반이다. 가볍고, 파일 하나로 데이터베이스를 들고 다닐 수 있다. LLM 플러그인은 이 SQLite 데이터를 LLM의 프롬프트 컨텍스트로 주입하고, 결과를 다시 테이블로 돌려주는 흐름이다. 0.1a8이라는 버전 번호에서 알 수 있듯 아직 초기 단계다. 하지만 방향성은 명확하다. 데이터 분석과 LLM의 경계를 흐리는 것.
앞서 언급한 Lance와 맞물려 생각해보면 재밌다. Lance 같은 로컬 멀티모달 모델이 나오고, datasette-llm 같은 도구가 데이터 분석과 LLM을 연결한다. 결국 "모델은 로컬에서 가볍게, 데이터는 SQL로 편하게"라는 흐름이 강해지고 있다. 서버 리소스에 민감한 게임 개발에서 이 조합은 꽤 매력적이다.
출처: Simon Willison - datasette-llm 0.1a8
3B로 만능을 시도하는 Lance든, SQL과 LLM을 합치는 datasette-llm이든, 공통된 방향은 "가볍게, 로컬에서, 실용적으로"다. 거대 API에 의존하지 않고 내 환경 안에서 AI를 쓰는 길이 계속 열리고 있다.