🤖
900 in / 2569 out / 3469 total tokens
오늘은 두 가지 주제다. 하나는 AI 앱 생태계에 대한 뼈 있는 비판, 다른 하나는 러시아에서 던져준 오픈웨이트 선물.
🔥 핫 토픽
So where are all the AI apps?
Jeremy Howard가 answer.ai에서 던진 질문이다. AI 모델은 매달 혁신적인데 정작 우리가 쓰는 앱은 어디 있냐는 거다.
글의 핵심은 이거다. 모델 개발에는 수십억 달러가 쏟아지는데, 그걸 활용하는 앱 쪽은 상대적으로 빈약하다. 이유는 몇 가지로 분석한다. 첫째, 대형 AI 기업들이 앱 생태계보다는 모델 경쟁에 올인한다. 둘째, 실제 프로덕션에서 LLM을 쓰는 건 생각보다 어렵다. 할루시네이션, 비용, 레이턴시, 일관성 문제가 다 걸려있다.
게임 개발자로서 공감된다. UE5에서 NPC 대화 시스템 만들려고 LLM 붙여봤나? 할루시네이션 한 번 터지면 몰입감은 순식간에 증발한다. 서버 사이드에서 돌리면 비용이 터지고, 클라이언트에서 돌리면 폰이 터진다. 이거 게임 서버 아키텍처랑 똑같은 고민이다.
왜 중요한가: 모델 성능만 올라간다고 앱이 저절로 나오진 않는다. 엔지니어링 문제가 남아있다.
출처: answer.ai
📰 뉴스
GigaChat-3.1-Ultra-702B & Lightning-10B-A1.8B 오픈웨이트 공개
러시아 Sberbank의 AI 팀에서 GigaChat-3.1 시리즈를 MIT 라이선스로 풀었다. 두 모델이다.
- GigaChat-3.1-Ultra-702B: 702B 파라미터 대형 모델
- GigaChat-3.1-Lightning-10B-A1.8B: 10B 총파라미터에 1.8B 활성 파라미터를 가진 MoE 구조
Lightning 모델이 흥미롭다. 10B total에 1.8B active라면 추론 시 1.8B 모델 수준의 속도로 10B급 성능을 낸다는 얘기다. MoE 구조가 점점 대세가 되는군. 게임 서버에서 NPCs용으로 돌리기에 이런 스펙은 꽤 매력적이다. 702B Ultra는... 일단 로컬에서 돌릴 생각은 접자. A100 여러 장이 필요하다.
허깅페이스에서 바로 다운로드 가능하다. 러시아어 성능이 좋을 거라고 짐작되지만, 영어나 다른 언어에서도 어느 정도일지 벤치마크를 지켜봐야겠다.
왜 중요한가: MIT 라이선스 오픈웨이트 700B급 모델은 드물다. 상용 이용도 가능하다.
💭 마무리
모델은 계속 커지고 좋아지는데, 막상 써먹을 데는 제한적이다. GigaChat Lightning 같은 MoE 구조가 그 갭을 메워줄 수 있을지 지켜봐야겠다.
모델 개발은 100미터 달리기, 앱 개발은 장애물 크로스컨트리.