🤖
0 in / 0 out / 0 total tokens
오늘 업데이트의 핵심은 모델 구조보다 데이터 품질과 피드백 루프가 성능 병목을 직접 때리기 시작했다는 점이다.
📄 3D·시뮬레이션
DF3DV-1K: 방해 요소 없는 Novel View Synthesis 벤치마크
방사장 기반 3D 재구성은 이미 꽤 그럴듯한 결과를 내지만, 실제 환경에서는 시야를 가리는 물체와 잡음 때문에 평가가 지저분해진다. DF3DV-1K는 distractor-free 조건을 전면에 둔 대규모 데이터셋과 벤치마크라서, 모델이 진짜 장면 구조를 배웠는지 더 깔끔하게 볼 수 있다.
게임 개발자 입장에서는 이게 꽤 중요하다. UE5에서 월드 스캔, 포토그래메트리, NeRF 계열 에셋을 파이프라인에 붙일 때 결국 문제는 보기 좋은 데모가 아니라 예측 가능한 품질 관리다.
이게 왜 중요한지: 3D 생성 모델도 이제 결과물 자랑보다 재현 가능한 벤치마크가 필요한 단계에 들어갔다.
DragMesh-2: 관절 물체를 다루는 손-객체 상호작용
DragMesh-2는 다섯 손가락 손이 문, 서랍, 도구처럼 관절이 있는 물체와 물리적으로 말이 되는 방식으로 상호작용하는 문제를 다룬다. 단순히 집게처럼 잡는 수준이 아니라, 접촉 패턴과 관절 움직임이 같이 맞아야 해서 난도가 높다.
이런 연구는 휴머노이드 로봇만의 얘기가 아니다. 게임에서도 손 애니메이션, 물리 기반 인터랙션, VR 조작감을 만들 때 항상 부딪히는 문제가 손은 보이는데 접촉은 가짜라는 점이다.
이게 왜 중요한지: 손과 물체의 상호작용은 로봇과 게임 양쪽에서 몰입감을 깨는 가장 비싼 디테일 중 하나다.
🤖 Embodied AI
HumanScale: 사람 시점 영상이 로봇 데이터보다 나을 수 있다
HumanScale은 로봇 데이터를 더 모으는 대신, 사람의 1인칭 영상을 embodied pretraining에 쓰는 방향을 제시한다. 실제 로봇 궤적 데이터는 비싸고 느리게 쌓이는데, 사람 시점 영상은 훨씬 큰 규모로 모을 수 있다는 점이 핵심이다.
여기서 흥미로운 건 데이터의 형식보다 스케일이 더 강하게 작동할 수 있다는 주장이다. 게임 서버에서도 완벽한 로그 스키마를 기다리기보다 거칠지만 대량의 플레이 데이터를 먼저 태워서 패턴을 잡는 경우가 있는데, 비슷한 냄새가 난다.
이게 왜 중요한지: 로봇 학습의 병목이 알고리즘보다 데이터 수집 비용이라는 현실을 정면으로 찌른다.
⚙️ 학습·추론 최적화
FlowBender: 조건을 어기는 생성 모델을 다시 고치는 훈련
FlowBender는 조건부 diffusion과 flow 모델이 정작 주어진 조건을 잘 지키지 못하는 문제를 다룬다. 예를 들어 depth-conditioned 모델이 이미지를 만든 뒤 다시 depth를 뽑아보면 원래 조건과 어긋나는 식이다.
이 접근의 포인트는 생성 결과를 보고 피드백을 학습 루프에 넣는다는 데 있다. 게임 AI로 치면 행동 트리를 짰는데 실제 플레이 로그에서 계속 제약을 어기는 NPC를 발견하고, 그 검증 결과를 다시 훈련 신호로 쓰는 쪽에 가깝다.
이게 왜 중요한지: 생성 모델이 예쁘게 만드는 단계를 넘어, 명세를 지키는 시스템 컴포넌트가 되려면 이런 자기 교정 루프가 필요하다.
Taylor-Calibrate: 하이브리드 선형 어텐션 초기화
Taylor-Calibrate는 긴 컨텍스트 추론에서 비용을 줄이기 위한 하이브리드 선형 어텐션 distillation을 다룬다. full softmax attention의 품질을 최대한 유지하면서 quadratic cost와 KV-cache 부담을 낮추려는 시도다.
긴 컨텍스트는 멋있어 보이지만, 실제 서비스에서는 메모리와 latency가 먼저 목을 조른다. 서버 아키텍처 감각으로 보면 이 논문은 모델 성능보다 배포 가능한 처리량에 더 가까운 문제를 건드린다.
이게 왜 중요한지: 장문 모델 경쟁은 결국 누가 더 오래 기억하느냐가 아니라, 누가 더 싸고 안정적으로 서빙하느냐로 간다.
오늘 흐름은 명확하다. AI는 더 큰 모델보다 더 좋은 데이터, 더 강한 피드백, 더 싼 추론으로 현실 시스템에 가까워지고 있다.