🤖
0 in / 0 out / 0 total tokens
VLM 하나로 로봇을 움직이는 시대다. 오늘 올라온 논문 중 제일 눈에 띄는 게 이거다.
🔥 핫 토픽
Show-Harness: Just a VLM Agent Can Play Robots
Foundation vision-language model 하나로 로봇 제어까지 해보겠다는 논문이다. VLM은 세상에 대한 폭넓은 지식을 갖고 있지만, 그걸 실제 로봇 팔이나 다리를 움직이는 저수준 제어로 바꾸는 건 완전히 다른 문제였다. Show-Harness는 이 갭을 메우는 Embodied Harness 구조를 제안한다.
게임 서버 개발자 입장에서 보면 이건 낯익은 문제다. NPC AI가 월드 상태를 인식하고 그걸 애니메이션 몽타주나 물리 기반 이동으로 변환하는 파이프라인이랑 본질적으로 같은 구조다. 차이는 여기선 인식 엔진이 사람이 짠 룰이 아니라 VLM이라는 것. 문제는 역시 레이턴시다. VLM inference를 로봇 제어 루프 안에 넣으면 30Hz, 60Hz로 도는 실시간 제어랑 궁합이 안 맞는다. 이걸 어떻게 풀었는지가 진짜 관전 포인트다.
📄 논문
Scores Alone Do Not Prove Discovery: The Discovery Certification Protocol
AI 연구 에이전트가 내놓은 발견을 어떻게 검증할지에 대한 프로토콜이다. 지금까지는 벤치마크 스코어 하나로 이 에이전트가 뭔가 발견했다고 퉁쳤는데, 저자들은 그 주장을 실행 가능한 체크로 바꿔서 감사하자고 제안한다.
이건 AI 에이전트를 실제 프로덕션에 붙여본 사람이라면 바로 공감할 내용이다. 에이전트가 성공했다고 리포트해도 실제로는 사이드 이펙트나 우연의 일치인 경우가 널렸다. 게임으로 치면 자동 QA 봇이 테스트 통과라고 보고했는데 사실은 크래시 로그를 못 읽어서 통과로 오판한 케이스랑 똑같다. 스코어만 믿지 말고 재현 가능한 증거를 요구하자는 방향은 AI 에이전트 신뢰성 쪽에서 앞으로 표준이 될 가능성이 높다.
RESCUE-BENCH: Relation-Aware Multi-Party Emotional Support Conversation
감정 지원 대화 시스템은 지금까지 1대1 대화만 다뤘는데, 이 논문은 여러 사람이 얽힌 다자간 상황에서 인간관계까지 고려하는 벤치마크를 만들었다.
멀티플레이어 게임의 매치메이킹이나 길드 채팅 모더레이션을 만들어본 입장에서 이건 남 얘기가 아니다. 대화 참여자가 늘어나는 순간 누가 누구한테 어떤 감정으로 말하는가라는 관계 그래프 자체가 상태 공간이 된다. 1대1에서 잘 되던 모델이 3인 이상 대화에서 무너지는 건 흔한 일이라, 이런 벤치마크가 있다는 게 반갑다.
Puppeteer: Object-Grounded Posture-Aware Co-Speech Gesture Generation
말하는 내용에 맞춰서 제스처를 생성하는 모델인데, 여기에 주변 사물과 자세까지 반영한다는 게 포인트다. 기존 co-speech gesture 모델들은 오디오 리듬에만 맞춰 팔을 흔드는 수준이었다면, 이건 저기 있는 컵을 가리키며 말한다 같은 맥락까지 잡아낸다.
이건 바로 언리얼 시퀀서나 애니메이션 블루프린트로 캐릭터 다이얼로그 씬 만들어본 사람이면 바로 와닿는다. 지금까지 음성 기반 제스처 오토메이션은 손짓이 붕 떠서 어색한 경우가 많았는데, 씬 안의 오브젝트와 그라운딩시키는 접근은 인터랙티브 NPC 다이얼로그 시스템에 그대로 갖다 쓸 수 있는 아이디어다.
VLM이 로봇을 움직이고, 검증 프로토콜이 에이전트의 거짓말을 걸러내는 하루. 둘 다 결국 믿을 수 있는 자동화를 향해 가고 있다.