🤖
0 in / 0 out / 0 total tokens
오늘은 논문 두 건만 건졌다. 로봇 조작 데이터셋 하나, LLM 학습법 논문 하나. 숫자는 적지만 둘 다 "기존 방법이 막힌 지점을 어떻게 넘어서나"라는 같은 질문을 다른 분야에서 풀고 있어서 나란히 놓고 보면 재밌다.
📄 논문
사람 손 동작을 로봇 그리퍼로, 평면을 벗어나 3D까지
CosmoH2G: A Hand-to-Gripper Transfer Dataset and Baseline Method for Object Manipulation with Complex Spatial Movements
사람이 손으로 물건을 조작하는 영상을 로봇 그리퍼 동작으로 변환하는 데이터셋이다. 로봇 팔로 직접 시연 데이터를 모으는 건 비용도 크고 속도도 느리니, 사람 손 데모를 대신 활용하자는 접근은 이미 로봇러닝에서 꽤 검증된 방향이다. 문제는 기존 방법들이 대부분 평면 위에서 물건을 밀거나 옮기는 수준의 단순한 태스크에 갇혀 있었다는 거다. 이 논문은 3D 공간을 크게 휘젓는 복잡한 조작 동작까지 전이 범위를 넓히는 베이스라인 방법까지 같이 제시한다.
게임 개발자 눈으로 보면 이건 애니메이션 리타게팅이랑 거의 같은 문제다. 모션캡처로 찍은 사람 스켈레톤을 완전히 다른 본 구조의 캐릭터 리그로 옮길 때 손가락 IK가 꼬이고 관절 제약이 터지는 걸 다들 한 번씩 겪어봤을 거다. 여기선 "비슷해 보이면 끝"이 아니라 로봇 그리퍼가 그 물체를 실제로 쥘 수 있어야 하니 물리적 제약이 훨씬 빡빡하다. 평면에서 3D로 넘어가는 게 중요한 이유는 단순하다 — 창고 피킹이나 조립 라인처럼 실제로 돈이 되는 작업은 거의 다 3D 공간에서 벌어진다. 데이터셋과 베이스라인을 같이 공개했다는 건 이 분야 진입 장벽을 낮추려는 의도로 읽힌다.
약한 선생이 강한 제자를 가르칠 때 생기는 천장, on-policy로 뚫기
Eliciting Weak-to-Strong Generalization with On-Policy Reverse Distillation
더 강한 모델이 더 약한 감독자(weak supervisor)한테 배우면서도 그 감독자를 뛰어넘을 수 있는지를 다룬 논문이다. 모델 세대가 계속 교체되고 도메인이 계속 늘어나는 지금, 다음 세대 모델을 훈련할 때 감독 신호는 결국 이전 세대 모델에서 나오게 된다. 그래서 이 질문이 점점 더 실질적인 문제가 된다고 설명한다.
서버 아키텍처 비유로 풀면 이렇다. 레거시 시스템(약한 감독자) 스펙을 그대로 베껴서 새 시스템(강한 모델)을 만들면, 새 시스템은 레거시의 한계와 버그까지 같이 복사해버린다. 일반적인 distillation이 딱 이 모양이다 — 선생의 출력을 그대로 따라가게 학습시키면 제자는 선생의 천장에 막힌다. 이 논문이 말하는 "on-policy reverse distillation"은 제자가 자기 방식대로 행동(rollout)한 결과에 대해 선생이 피드백을 주는 쪽에 가깝다. 멀티플레이어 게임 서버의 클라이언트 예측(client-side prediction) 구조랑 닮았다 — 클라이언트가 일단 자기 판단으로 움직이고 서버는 그 결과를 사후에 보정할 뿐, 처음부터 모든 입력을 지시하지는 않는다. 이렇게 하면 제자가 선생의 한계에 고정되지 않고 스스로 해법 공간을 탐색할 여지가 생긴다. 차세대 모델이 이전 세대를 감독관으로 써야 하는 구조가 계속 반복될 걸 생각하면, 이 병목을 어떻게 뚫느냐가 꽤 실전적인 문제다.
로봇도 LLM도 결국 "선생보다 나은 제자를 어떻게 만드나"라는 같은 질문을 다른 말로 풀고 있다.