🤖
0 in / 0 out / 0 total tokens
이미지 한 장에서 3D를 뽑는 모델과 긴 작업을 버티는 에이전트 학습이 오늘의 핵심이다. 둘 다 화려한 데모보다 더 아래쪽, 실제 시스템에 붙였을 때 병목이 어디서 생기는지를 건드린다.
핫 토픽
PointDiT: 픽셀 공간 확산으로 단안 기하 추정하기
PointDiT는 단일 이미지 3D 재구성에서 흔히 쓰이던 복잡한 하이브리드 구조나 여러 손실 함수 조합, 혹은 latent space 압축에 기대는 방식을 다시 의심한다. 요지는 geometry를 굳이 latent로 접어 넣지 않고 pixel-space diffusion으로 직접 다루겠다는 쪽에 가깝다.
게임 개발자 관점에서는 이 접근이 꽤 흥미롭다. UE5에서 월드 제작 파이프라인을 만져보면, 결국 중요한 것은 예쁜 결과 하나가 아니라 메시, 깊이, 노멀, 충돌, LOD 같은 후속 데이터로 얼마나 덜 깨지게 이어지느냐다. latent 압축은 효율적이지만, 디버깅할 때 중간 표현이 애매하면 어디서 형상이 무너졌는지 추적하기가 답답하다.
왜 중요한가: 단일 이미지 기반 3D 추정이 더 단순한 구조로 안정화되면, AI 기반 에셋 프리프로덕션과 자동 레벨 블로킹 도구의 진입 장벽이 낮아진다.
논문
TurnOPD: 긴 호흡의 에이전트를 위한 turn-aware on-policy distillation
TurnOPD는 on-policy distillation을 장기 에이전트 학습에 더 잘 맞추려는 시도다. OPD는 강한 teacher 정책을 student가 자기 trajectory 위에서 따라가게 만드는 방식인데, 긴 작업에서는 단순히 한 스텝씩 teacher를 흉내 내는 것만으로는 부족하다. 대화형 에이전트나 툴 사용 에이전트처럼 여러 turn을 거치며 상태가 누적되는 환경에서는 어느 turn에서 판단이 틀어졌는지가 전체 결과를 크게 흔든다.
이건 서버 아키텍처 감각으로 보면 꽤 익숙한 문제다. 단일 API 호출의 latency만 줄인다고 전체 워크플로가 빨라지지 않는 것처럼, 에이전트도 한 턴의 응답 품질만 올린다고 긴 작업 성공률이 자동으로 오르지 않는다. 세션 상태, 이전 결정, 다음 행동의 비용이 얽히기 때문에 학습 신호도 turn 단위의 구조를 알아야 한다.
내가 에이전트 사이드프로젝트를 만들 때도 비슷한 삽질을 했다. 짧은 프롬프트 테스트에서는 멀쩡한데, 실제로 파일을 읽고 수정하고 다시 검증하는 루프에 넣으면 중간에 목표를 잃거나 앞선 판단을 과하게 믿는 경우가 생긴다. TurnOPD 같은 접근은 이런 긴 작업의 실패를 그냥 "모델이 멍청해서"로 넘기지 않고, 학습 절차 자체에서 다루려는 방향이라 의미가 있다.
왜 중요한가: 장기 작업 에이전트는 단발성 챗봇이 아니라 상태ful 시스템에 가깝고, turn-aware 학습은 그 시스템 안정성을 올리는 핵심 축이 될 수 있다.
개발자 코멘트
오늘 두 논문은 겉보기에는 하나는 비전/3D, 하나는 에이전트 학습이라 멀어 보인다. 그런데 공통점은 중간 표현을 어떻게 잡을지에 있다. PointDiT는 geometry를 latent로 숨기지 않고 pixel space에서 직접 다루려 하고, TurnOPD는 에이전트 행동을 단일 응답이 아니라 turn 구조 안에서 보려 한다.
성능 최적화에서도 비슷한 실수를 자주 한다. 숫자 하나만 보고 "빠르다"고 생각했는데 실제 프레임에서는 streaming, collision, replication, memory spike가 같이 터진다. AI 시스템도 마찬가지다. 벤치마크 점수 하나보다 중요한 것은 데이터가 어떤 표현으로 흐르고, 어느 지점에서 정보가 손실되며, 실패했을 때 원인을 추적할 수 있느냐다.
PointDiT는 생성형 3D 파이프라인의 디버깅 가능성을, TurnOPD는 에이전트 훈련의 시간축 안정성을 떠올리게 한다. 둘 다 당장 제품에 붙이기 전에는 많은 검증이 필요하겠지만, 방향 자체는 실용적이다. 모델을 더 크게 만드는 이야기보다, 모델이 다루는 문제의 구조를 더 정직하게 반영하려는 시도라서 그렇다.
오늘의 AI 업데이트는 더 큰 모델보다 더 정확한 표현 구조가 실제 개발 병목을 줄인다는 쪽에 가깝다.