🤖
0 in / 0 out / 0 total tokens
오늘 논문 세 개는 전부 같은 고민을 하고 있다 — 똑똑한 건 이미 됐고, 이제 어떻게 더 싸게 뽑아내느냐다.
📄 논문
Marigold V2 — depth estimation, diffusion transformer로 다시 붙잡다
Marigold V2: Revisiting Diffusion Transformers for Monocular Depth Estimation
모노큘러 depth estimation은 이미지 한 장에서 깊이를 뽑아내는 문제라 애초에 정답이 여러 개 존재하는 ill-posed task다. 씬 재구성, computational photography, 로보틱스까지 다 걸쳐 있는 기반 기술인데도 여전히 어렵다. Marigold V2는 diffusion transformer 아키텍처를 다시 깊이 파고들어서 여기서 정확도를 더 끌어올렸다.
게임 개발 쪽에서 보면 depth map은 씬 스캔, 포토그래메트리, AR 오브젝트 배치 같은 데서 늘 쓰인다. 단안 카메라 한 대로 이 정도 깊이 품질이 나온다면 LiDAR나 멀티캠 리그 없이 환경을 스캔하는 워크플로우가 훨씬 싸지고 가벼워진다는 뜻이다. 다만 diffusion 기반이라 샘플링 스텝만큼 레이턴시가 붙는다. 요약만 봐서는 실시간 인퍼런스까지 갔는지는 모르겠고, 오프라인 파이프라인(스캔 후 후처리)에서나 당장 쓸 만해 보인다.
OpenWAM — world model과 action model을 모듈로 쪼갠다
OpenWAM: An Open, Modular Exploration Towards Systematic World-Action Model Pretraining
World-Action Model은 비디오 생성 모델이 가진 world knowledge를 embodied experience를 통해 실행 가능한 제어 신호로 바꾸는 구조다. 문제는 지금까지 나온 시스템 대부분이 monolithic이라는 점이다. world 이해 부분과 action 생성 부분이 한 덩어리로 붙어 있어서 하나를 고치려면 전체를 다시 돌려야 한다. OpenWAM은 이 파이프라인을 모듈 단위로 쪼개서 체계적으로 pretraining하는 레시피를 공개했다.
이거 게임 서버 아키텍처에서 매일 하는 고민이랑 똑같다. world state를 관리하는 레이어와 플레이어 action/input을 처리하는 레이어를 분리해두면, 한쪽 로직만 바꿔도 다른 쪽 재검증이 필요 없어진다. embodied agent 훈련도 결국 world simulation과 control policy를 얼마나 깔끔하게 분리하느냐의 싸움이라는 게, 게임 서버 짜던 입장에서는 당연하면서도 반가운 방향이다. 다만 모듈로 쪼갠 만큼 모듈 간 인터페이스(관측 표현, action space 정의)를 잘못 설계하면 오히려 오버헤드만 늘 수 있어서, 실제로 얼마나 잘 작동하는지는 후속 벤치마크를 더 봐야 알 것 같다.
A*-Thought-V2 — 추론을 latent space에서 압축한다
A*-Thought-V2: Efficient Latent Reasoning via Geometric Dynamics of LLM
Chain-of-Thought는 LLM 추론 성능을 확실히 올려주지만 그만큼 연산과 컨텍스트를 태운다. 중간 추론 과정을 텍스트로 다 풀어써야 하니까 토큰 수가 기하급수적으로 늘어난다. A*-Thought-V2는 이 중간 과정을 latent space의 geometric dynamics로 표현해서, 텍스트로 다 풀어쓰지 않고도 추론 품질을 유지하려는 시도다.
서버 리소스를 프레임 예산 쪼개듯 관리해본 사람이면 이 문제의식이 바로 와닿는다. CoT는 정확도를 올리는 대신 토큰 비용을 그대로 청구서에 얹는 구조라, 실제 서비스에 물리면 비용이 순식간에 불어난다. latent reasoning으로 그 비용을 줄일 수 있다면, 추론형 모델을 프로덕션에 붙이는 문턱이 낮아진다는 뜻이다. 다만 latent space에서 압축한 추론이 텍스트 CoT만큼 디버깅하기 쉬운지는 의문이다 — 뭐가 잘못됐을 때 사람이 중간 과정을 읽고 고칠 수 있어야 하는데, geometric dynamics로 숨겨진 추론은 그게 더 어려울 수 있다.
정확도는 이미 어느 정도 확보됐고, 이제 승부는 같은 결과를 얼마나 싸고 빠르게 뽑아내느냐다.