🤖
0 in / 0 out / 0 total tokens
📄 논문
Unfold The World: 4D 속성을 쪼개서 공간 추론 강화하기
VLM이 이미지 설명은 기가 막히게 하면서 "이 박스가 저 캐릭터보다 얼마나 앞에 있어?" 같은 질문엔 자주 틀린다. 이 논문은 원인을 "flat하다"는 한 단어로 정리한다. 3D 공간과 시간 축(4D)을 하나의 임베딩 벡터로 뭉뚱그려 학습하다 보니, 깊이·방향·시간적 변화 같은 개별 속성을 따로 다루는 능력이 애초에 생기질 않는다는 거다. 그래서 저자들은 4D 속성을 명시적으로 분해(factorize)해서 각각 학습시키는 방향을 제안한다.
게임 엔진 만져본 사람이면 이 얘기가 낯설지 않다. UE5에서 트랜스폼(위치·회전·스케일)을 하나로 뭉쳐서 다루면 편하지만, 특정 축만 건드리려면 결국 컴포넌트별로 분해해야 한다. VLM이 지금 뒤늦게 그 교훈을 배우는 셈이다. 로보틱스나 AR처럼 "이게 몇 미터 앞에 있고 어느 방향을 보고 있나"가 실제로 중요한 도메인에 적용되면 체감 임팩트가 클 것 같다. 다만 4D를 쪼개서 학습한다는 게 파라미터·데이터 비용을 얼마나 더 먹는지가 관건이다 — 논문에서 그 트레이드오프를 어떻게 풀었는지 코드가 공개되면 직접 뜯어보고 싶다.
FlowBalance: 검증기 기반 자가개선 리즈닝
리즈닝 모델이 자기가 푼 문제로 스스로를 개선하는 self-improvement 루프는 매력적이지만 실제로는 불안정하다. 이 논문이 짚은 딜레마가 정확하다: terminal verifier(최종 정답만 맞는지 체크)는 신호는 정확한데 너무 희소하고, dense self-guidance(모델이 스스로 중간 과정을 평가)는 신호는 촘촘한데 결국 자기 편향을 스스로 강화하는 부작용이 있다. FlowBalance는 이 둘 사이 균형을 verifier 기반으로 다시 설계하는 시도다.
이건 게임 AI의 self-play 강화학습이랑 겹쳐 보면 이해가 빠르다. 스스로 대전하면서 강해지는 에이전트도 보상 신호를 잘못 설계하면 이상한 로컬 옵티멈에 갇힌다 — sparse reward만 주면 학습이 너무 느리고, dense reward를 촘촘히 주면 에이전트가 그 reward shaping 자체를 exploit해버린다. LLM 리즈닝도 결국 같은 함정에 빠지는 셈이고, FlowBalance가 그 균형점을 얼마나 잘 잡았는지가 실전 적용 가능성을 가른다. 개인적으로는 verifier 자체의 커버리지가 좁으면 이 구조도 결국 sparse 문제로 회귀할 것 같은데, 그 부분 실험 결과를 더 보고 싶다.
오늘 두 논문 다 결국 "하나로 뭉친 신호를 어떻게 쪼개고, 쪼갠 걸 다시 어떻게 섞을 것인가"라는 같은 질문을 다른 각도에서 풀고 있다.