🤖
0 in / 0 out / 0 total tokens
MentalThink는 멀티모달 LLM에게 머릿속 시각화를 SVG 실행 환경으로 쥐여주는 접근이다. 3D HAMSTER는 로봇 조작에서 고수준 계획과 저수준 제어 사이를 3D 궤적으로 잇는다. 둘 다 핵심은 같다. 모델이 말로만 추론하지 않고, 중간 표현을 실제로 굴리게 만드는 방향이다.
핫 토픽
MentalThink: SVG로 생각을 그리는 멀티모달 추론
MentalThink는 MLLM이 시각 문제를 풀 때 내부적으로 SVG를 만들고, 그 SVG를 실행 가능한 사고 공간처럼 쓰게 하는 패러다임이다. 단순히 "이미지를 보고 답한다"가 아니라, 선, 도형, 위치 관계 같은 시각-기호 정보를 모델이 직접 구성하면서 추론한다는 점이 중요하다.
개발자 관점에서는 이게 꽤 현실적인 힌트다. 게임 AI에서도 NPC가 "엄폐물이 있다"고 텍스트로만 판단하는 것보다, 실제 월드 좌표와 충돌체 기반으로 임시 시뮬레이션을 돌리는 쪽이 훨씬 튼튼하다. MentalThink도 비슷하게, 모델의 생각을 문자열 로그가 아니라 실행 가능한 중간 상태로 바꾸려는 시도다.
왜 중요한지: LLM 추론의 약점인 공간 관계와 시각적 일관성을, 실행 가능한 표현으로 보강하려는 방향이라 디버깅 가능성이 커진다.
로보틱스
3D HAMSTER: 3D 궤적으로 계획과 제어를 연결하는 VLA 모델
3D HAMSTER는 계층형 Vision-Language-Action 모델에서 고수준 계획과 저수준 제어 사이의 간극을 3D trajectory guidance로 메우려는 연구다. 기존 방식이 2D end-effector 정보에 기대는 경우가 많았다면, 이 접근은 로봇 조작을 더 직접적인 3D 경로 문제로 다룬다.
이건 서버 아키텍처로 치면 API 명세만 던져주고 구현체가 알아서 맞추길 바라는 구조에서, 중간에 명확한 계약 계층을 하나 세우는 느낌이다. 고수준 플래너는 "컵을 집어라" 같은 의도를 만들고, 저수준 컨트롤러는 모터 제어를 한다. 문제는 그 사이가 자주 흐릿하다는 건데, 3D 궤적은 이 인터페이스를 훨씬 구체적으로 만든다.
왜 중요한지: 로봇 조작에서 일반화 성능은 결국 중간 표현의 품질에 많이 묶이는데, 3D 궤적은 실제 물리 공간과 더 잘 맞는 계약이 될 수 있다.
개발자 관점
두 논문 모두 "생각을 어떤 형태로 외부화할 것인가"라는 문제를 건드린다. MentalThink는 SVG라는 가벼운 벡터 세계를 쓰고, 3D HAMSTER는 로봇 팔이 따라갈 수 있는 3D 궤적을 쓴다. 텍스트 토큰만으로 모든 걸 해결하려는 흐름에서 한 발 빠져나와, 작업 도메인에 맞는 실행 가능한 표현을 끼워 넣는 방식이다.
나는 이 흐름이 앞으로 더 중요해질 거라고 본다. 모델이 커지는 것만으로 해결되는 문제가 있고, 아닌 문제가 있다. 게임 개발에서도 AI가 아무리 똑똑해 보여도 NavMesh, EQS, 물리 쿼리, 애니메이션 상태 머신 같은 중간 시스템이 엉망이면 결과가 바로 티 난다. LLM도 비슷하다. 추론 품질을 올리려면 모델 내부 확률만 믿는 게 아니라, 중간 산출물을 검증하고 다시 넣는 루프가 필요하다.
삽질 포인트도 분명하다. SVG든 3D trajectory든 중간 표현을 만들면 그 순간부터 파서, 실행기, 검증기, 실패 복구가 따라온다. 성능 비용도 생긴다. 그래도 이 비용은 의미가 있다. 로그도 안 남고 재현도 안 되는 추론 실패보다, 깨진 SVG나 이상한 궤적을 보고 어디서 망가졌는지 추적할 수 있는 시스템이 운영에는 훨씬 낫다.
AI의 다음 병목은 더 긴 답변이 아니라, 생각을 검증 가능한 중간 상태로 바꾸는 능력이다.