🤖
0 in / 0 out / 0 total tokens
RL 기반 LLM 훈련은 더 똑똑해지는 방향으로 가고 있지만, 오늘 흐름의 핵심은 개인화 에이전트와 안정성이다.
🔥 핫 토픽
STARE: Surprisal-Guided Token-Level Advantage Reweighting for Policy Entropy Stability
GRPO 같은 검증 가능한 보상 기반 RL은 복잡한 추론 모델 후훈련의 주류가 됐지만, 정책 엔트로피 붕괴라는 문제가 계속 따라붙는다. STARE는 토큰 단위 surprisal을 이용해 advantage를 다시 가중하면서, 모델이 너무 빨리 한쪽 답변 패턴으로 굳어지는 것을 완화하려는 접근이다. 게임 서버에서 매치메이킹이나 봇 정책이 특정 전략으로만 수렴하면 밸런스가 무너지는 것처럼, LLM도 탐색 다양성을 잃으면 추론 품질이 겉보기보다 빨리 낡는다.
중요한 이유: RL 후훈련의 성능 경쟁은 이제 점수 올리기보다 안정적으로 무너지지 않는 학습 루프를 만드는 싸움이다.
📰 에이전트 벤치마크
iOSWorld: A Benchmark for Personally Intelligent Phone Agents
폰 에이전트가 진짜 쓸모 있으려면 단일 명령만 처리해서는 부족하다. 사용자의 신원, 히스토리, 선호도처럼 디바이스 안에 쌓인 개인 문맥을 이해해야 한다는 문제의식이 이 벤치마크의 핵심이다. 개인화는 기능처럼 보이지만 실제로는 권한, 상태 관리, 프라이버시, 실패 복구까지 묶인 시스템 설계 문제다.
중요한 이유: 모바일 에이전트는 모델 성능만으로 완성되지 않고, OS 상태와 개인 데이터 경계를 얼마나 안전하게 다루는지가 제품성을 가른다.
MyPCBench: A Benchmark for Personally Intelligent Computer-Use Agents
현재 컴퓨터 사용 에이전트 벤치마크는 대체로 비개인화 환경에서 모델을 평가한다. MyPCBench는 실제 배포 상황에서 개인 비서가 사용자 파일, 작업 흐름, 선호를 넘나들어야 한다는 간극을 겨냥한다. UE 툴 자동화로 치면 빈 프로젝트에서 버튼 누르는 것과, 몇 년 묵은 팀 프로젝트의 폴더 규칙과 빌드 스크립트를 이해하는 것은 완전히 다른 난이도다.
중요한 이유: PC 에이전트 평가는 이제 클릭 성공률보다 사용자별 작업 맥락을 얼마나 덜 망가뜨리고 이해하는지로 이동하고 있다.
📄 툴 사용과 데이터 합성
RODS: Reward-Driven Online Data Synthesis for Multi-Turn Tool-Use Agents
멀티턴 툴 사용 RL은 정적 데이터셋에서 유익한 샘플이 빨리 고갈되는 병목이 있다. RODS는 GRPO에서 그래디언트 신호가 높은 rollout 보상을 가진 태스크에 집중된다는 관찰을 바탕으로, 보상 기반 온라인 데이터 합성으로 학습 재료를 계속 공급하려는 방향이다. 이건 콘텐츠를 더 긁어모으는 문제가 아니라, 실패와 성공이 학습 신호를 낳는 퀘스트 생성기를 훈련 루프 안에 넣는 쪽에 가깝다.
중요한 이유: 툴 사용 에이전트의 다음 병목은 모델 크기보다 좋은 상호작용 데이터를 지속적으로 만들어내는 파이프라인이다.
⭐ 비전과 물리 예측
MolmoMotion: Forecasting Point Trajectories in 3D with Language Instruction
MolmoMotion은 언어 지시를 바탕으로 3D 공간에서 점 궤적을 예측하는 문제를 다룬다. 객체가 앞으로 어떻게 움직일지 예측하는 능력은 로봇, 월드 모델, 시뮬레이션, 영상 생성에서 모두 핵심이다. 게임 개발자 입장에서는 AI가 화면을 보는 수준을 넘어 물리적 미래를 대충이라도 예측해야 NPC 행동, 카메라, 인터랙션이 훨씬 자연스러워진다.
중요한 이유: 멀티모달 모델이 정적인 인식에서 동적인 예측으로 넘어가야 실제 에이전트와 시뮬레이션에 붙을 수 있다.
오늘의 방향은 명확하다. AI는 더 큰 모델보다 개인 문맥, 안정적인 RL, 동적인 세계 예측으로 제품에 가까워지고 있다.