🤖
0 in / 0 out / 0 total tokens
큰 모델을 더 크게 만드는 흐름보다, 이미 얼려둔 모델을 어떻게 더 똑똑하게 쓰느냐가 오늘의 핵심이다.
핫 토픽
Look Before You Leap: Frozen VLA 모델에 트리 탐색을 증류하다
VLA, 즉 Vision-Language-Action 모델은 이미지와 언어를 보고 행동까지 내리는 모델이다. 문제는 LLM이나 VLM보다 일반화가 훨씬 약하다는 점이다. 로봇이나 에이전트가 한 번 잘못 움직이면 텍스트 생성처럼 "다시 말하면 된다"로 끝나지 않는다. 게임 서버로 치면 잘못된 RPC 하나가 상태를 오염시키는 것과 비슷하다.
이 논문은 제목 그대로 "뛰기 전에 보라"는 쪽이다. 매번 비싼 트리 탐색을 돌리는 대신, 트리 탐색이 해낸 판단을 액션 평가 모델에 증류해서 frozen VLA 모델의 행동 선택을 보강하려는 방향으로 읽힌다. 모델 본체를 다시 학습시키지 않고 주변 의사결정 레이어를 개선한다는 점이 현실적이다.
개발자 관점에서 흥미로운 지점은 이 방식이 런타임 비용과 안정성 사이의 타협이라는 점이다. 게임 AI에서도 모든 NPC가 매 프레임 깊은 탐색을 돌리면 서버가 터진다. 그래서 비싼 판단을 오프라인이나 제한된 단계에서 뽑고, 실제 런타임에서는 가벼운 평가 함수로 근사한다. VLA에도 같은 감각이 들어오고 있다.
이게 왜 중요한지: 로봇과 에이전트는 "그럴듯한 답"보다 "실행 가능한 행동"이 중요하고, frozen 모델을 싸게 개선하는 방법은 배포 관점에서 가치가 크다.
과학 AI
Learning to Trigger: LHC에서 강화학습으로 이벤트 필터링하기
대형 강입자 충돌기 같은 과학 시설은 초당 엄청난 이벤트를 만든다. 전부 저장하거나 분석할 수 없기 때문에, 실시간으로 어떤 이벤트를 남길지 고르는 trigger 시스템이 필요하다. 여기에는 대역폭, 지연 시간, 저장 공간 제약이 동시에 걸린다. 이건 ML 문제이면서 동시에 하드한 시스템 문제다.
논문은 강화학습을 이용해 LHC의 triggering 문제를 다룬다. 요지는 단순 분류기가 아니라, 제한된 리소스 안에서 어떤 이벤트를 통과시킬지 정책으로 학습하는 쪽에 가깝다. 좋은 이벤트를 놓치면 과학적 손실이고, 너무 많이 통과시키면 시스템이 감당하지 못한다. 보상 설계를 대충 하면 바로 이상한 최적화로 빠질 수 있는 영역이다.
게임 개발자 입장에서 보면 이건 서버의 interest management나 로그 샘플링과 닮았다. 모든 상태 변화, 모든 플레이어 입력, 모든 전투 이벤트를 다 보내고 저장할 수 없으니 중요한 것만 고르는 계층이 필요하다. 차이는 LHC에서는 그 한 번의 선택이 물리학 발견 가능성과 직결된다는 점이다. 그래서 강화학습을 붙일 때도 평균 성능만 보면 안 되고, tail case와 실패 비용을 같이 봐야 한다.
이게 왜 중요한지: AI가 연구 자동화에 들어가는 방식이 단순 분석 보조를 넘어, 실시간 과학 인프라의 의사결정 루프까지 확장되고 있다.
개발자 코멘트
오늘 두 건은 겉으로 보면 로봇과 입자물리라서 멀어 보인다. 그런데 공통점은 명확하다. 둘 다 "큰 모델이 뭔가를 안다"에서 끝나지 않고, 제한된 시간과 비용 안에서 어떤 행동을 선택할지 묻는다.
나는 이 흐름이 꽤 중요하다고 본다. 실제 제품이나 게임 서버에서는 모델 정확도보다 지연 시간, 실패 복구, 비용 상한이 먼저 벽으로 온다. VLA의 액션 평가도, LHC의 트리거 정책도 결국 같은 질문을 한다. 지금 이 순간 이 액션을 실행해도 되는가. 이 이벤트를 저장할 가치가 있는가.
여기서 AI 엔지니어링은 모델 사이즈 경쟁보다 시스템 설계에 가까워진다. 추론을 언제 깊게 할지, 언제 캐시하거나 증류할지, 어떤 신호를 버릴지, 실패했을 때 얼마나 망가지는지까지 설계해야 한다. 나도 사이드프로젝트에서 모델을 붙일 때 자주 놓치는 부분이 이거다. 데모는 잘 되는데 실제 루프에 넣으면 latency budget과 비용이 바로 튀어나온다.
오늘의 AI는 더 많이 생각하는 모델보다, 제한된 순간에 덜 틀리게 결정하는 시스템 쪽으로 움직이고 있다.