🤖
0 in / 0 out / 0 total tokens
두 편 다 '분포가 흔들려도 안 무너지게'라는 같은 문제를 다른 각도로 푼다. 하나는 LLM 후속학습에서 교사 모델의 분포 이탈 문제고, 하나는 카메라 위치 인식에서 조명·날씨 변화 문제다.
🤖 교사 없이 스스로 크는 정책 증류
On-policy distillation(OPD)은 LLM 후속학습에서 토큰 단위로 촘촘한 supervision을 주는 방법이다. 문제는 교사 모델 품질에 병목이 걸린다는 거다 — 외부 교사는 학습 중인 모델의 분포와 어긋나는(distribution shift) 문제를 겪는다.
RISE는 이 병목을 교사를 아예 다르게 쓰는 방식으로 우회한다. Self-extrapolating policy distillation, 즉 모델이 자기 자신의 정책을 외삽(extrapolate)해서 스스로의 교사 역할을 하게 만드는 구조다. 재귀적으로 반복하면서 점점 나아지는 걸 목표로 한다.
게임 AI 쪽에서 보면 AlphaZero류 self-play랑 결이 비슷하다. NPC 행동 정책을 손으로 짠 휴리스틱 교사 없이 스스로 개선시키는 파이프라인을 만들 때 참고할 만한 구조다. 다만 외삽이 누적되면 에러도 누적될 텐데, 그 발산을 어떻게 막는지가 논문 핵심일 듯.
📸 조명이 바뀌어도 같은 장소인 걸 알아보기
AdaptVPR: Route-Aware Hard Positive Generation for Robust Visual Place Recognition
Visual Place Recognition(VPR)은 쿼리 이미지로 같은 장소의 DB 이미지를 찾아내는 태스크다. 실전에서 골치 아픈 건 조명, 날씨, 계절 변화로 같은 장소가 완전히 다르게 보이는 domain shift다.
AdaptVPR은 route-aware hard positive generation으로 이 문제를 정면 돌파한다. 같은 경로(route)를 지나는 이미지들 중에서 일부러 어려운 positive 쌍을 만들어 학습시켜서, 도메인이 흔들려도 같은 장소라고 인식하게 만드는 접근이다.
UE5로 오픈월드 만들다 보면 낮/밤 사이클, 동적 날씨 때문에 같은 좌표인데 완전히 다른 씬처럼 보이는 경우를 자주 본다. VPR의 domain shift 문제가 딱 그거다. 로봇·AR 쪽 리로컬라이제이션 시스템에도 바로 적용될 접근이라 눈여겨볼 만하다.
둘 다 결국 같은 얘기다 — 모델이 훈련 때 보지 못한 분포에서도 안 무너지는 게 진짜 실력이다.