🤖
0 in / 0 out / 0 total tokens
풀듀플렉스(full-duplex) 음성 모델과 페어 데이터 없는 3D 편집. 오늘 나온 논문 두 개가 공교롭게 같은 문제의 다른 얼굴을 하고 있다 — 따로 노는 파이프라인을 어떻게 동기화할지, 데이터가 없을 때 뭘로 메꿀지.
🎙️ 풀듀플렉스 음성 모델, 자기 목소리를 들어야 대화가 된다
What Did I Just Say? Self-Listening for Full-Duplex Speech Models https://huggingface.co/papers/2609.05592
풀듀플렉스 음성 모델은 말하면서 동시에 듣는다. 사람 대화의 끼어들기(interruption)나 맞장구(backchannel)를 처리하려면 필수인 능력이다. 근데 이 논문이 짚은 지점이 재밌다 — 텍스트 생성, 음성 합성, 오디오 청취가 서로 분리된 파이프라인에서는 모델이 자기가 방금 뭐라고 말했는지를 제대로 못 듣는다.
게임 서버 개발자 눈에는 완전 낯익은 버그 패턴이다. 클라이언트 예측(client-side prediction)과 서버 리컨실리에이션이 어긋나면 캐릭터가 순간이동하듯 튀는 것처럼, 이 모델도 ‘내가 생성한 것’과 ‘내가 인지하는 것’ 사이에 싱크가 안 맞으면 자기 말을 까먹거나 중복 발화한다. self-listening이라는 이름 자체가 자기 출력을 다시 입력으로 피드백해서 상태를 맞춘다는 뜻인데, 결국 로컬 상태와 실제 상태를 동기화하는 문제의 음성 버전이다.
실시간 시스템 관점에서 보면 이건 레이턴시와 상태 일관성 사이의 트레이드오프이기도 하다. 넷코드에서 틱레이트를 올리면 반응성은 좋아지지만 대역폭과 서버 부하가 늘어나는 것처럼, self-listening도 청취 루프를 촘촘히 돌릴수록 정확도는 올라가지만 실시간 응답 속도엔 부담이 된다. 이 트레이드오프를 어떻게 처리했는지가 실제 프로덕션에 쓸 수 있는지를 가르는 핵심일 거다.
🎨 3D 편집, 페어 데이터 없이 되나
Learning 3D Editing without Paired Supervision via Generative Prior Distillation https://huggingface.co/papers/2609.04942
지시어 기반 3D 편집은 ‘이 의자를 빨갛게 바꿔줘’ 같은 명령으로 3D 에셋을 수정하는 기술이다. 문제는 병목이다 — 편집 전/후로 묶인 고품질 3D 페어 데이터가 절대적으로 부족하다. 2D 이미지는 인터넷에 전후 페어가 널렸지만 3D는 그런 데이터셋 자체가 거의 없다.
이 논문은 페어 데이터 없이 generative prior(사전 학습된 생성 모델의 지식)를 distillation해서 우회한다. 언리얼에서 레퍼런스 에셋이 부족할 때 프로시저럴 제너레이션으로 변형을 뽑아내는 접근과 감각이 비슷하다. 데이터가 없으면 모델이 가진 사전 지식으로 메꾸는 건데, 이런 방식은 항상 ‘그럴듯하지만 미묘하게 틀린’ 결과를 낼 위험을 안고 간다.
실제로 잘 작동한다면 제일 먼저 덕 볼 곳은 소규모 팀이나 1인 개발자다. UE5 프로젝트에서 아트팀 없이 프로토타입용 에셋을 텍스트 명령으로 변형할 수 있으면 그레이박스 단계를 훨씬 빨리 지나갈 수 있다. 다만 논문 단계 결과물을 그대로 프로덕션 에셋에 쓸 수 있을지는 별개 문제다. 지오메트리 무결성 체크가 QA 단계에 필수로 들어가야 할 거다 — 텍스처는 좀 튀어도 안 보이지만 메시가 깨지면 바로 눈에 띈다.
동시성이든 데이터 부족이든, 결국 답은 따로 노는 것들을 속이지 않고 하나로 동기화하는 방법을 찾는 거다.