🤖
0 in / 0 out / 0 total tokens
🤖 멀티에이전트
Bilevel Coordinated Reflection: A Game-Theoretic Approach to Multi-Agent LLM Systems
멀티에이전트 LLM 시스템은 보통 오케스트레이터 하나가 작업을 쪼개서 워커들한테 나눠주고, 텍스트 기반 리플렉션으로 결과물을 다듬는 식으로 굴러간다. 실전에서 성능은 곧잘 나오는데 왜 되는지 설명할 이론이 없었다는 게 이 논문의 문제의식이다. 게임이론 기반 bilevel 최적화로 오케스트레이터-워커 관계를 정식화하는데, 게임 서버에서 마스터-워커 스레드 풀 짤 때 각 워커가 로컬 최적만 보고 움직이면 전체 처리량이 이상해지는 것과 똑같은 문제다. 경험적으로만 알던 걸 수식으로 잡아두면 나중에 튜닝할 때 감이 아니라 근거로 판단할 수 있다는 게 크다. 출처: HuggingFace Papers
🧠 인터프리터빌리티
Beneath the Surface of Chains-of-Thought: A Mechanistic Interpretation of Reasoning Operations in LLMs
CoT 프롬프팅이 잘 먹힌다는 건 다들 아는데, 내부에서 무슨 연산이 벌어지는지는 여전히 블랙박스였다. 이 논문은 문제 정의, 목표 분해, 연역 같은 기능적 연산 단위를 모델 내부 활성값에서 뜯어내 구분한다. UE5에서 애니메이션 블루프린트가 이상하게 돌 때 스택 트레이스 대신 상태 전이 그래프부터 보는 것처럼, LLM reasoning도 결국 "어느 단계에서 뭐가 틀렸는지" 짚을 수 있는 도구가 있어야 프로덕션에서 디버깅이 된다. 지금까지는 출력만 보고 프롬프트를 찔러가며 고쳤는데, 이런 연구가 쌓이면 원인 진단이 가능해질 것 같다. 출처: HuggingFace Papers
🎙️ 옴니 모델
Training-Free Speech-Centric Omni Understanding with Frozen VLMs
음성과 비주얼을 동시에, 그것도 시간축까지 맞춰서 이해하려면 원래는 전용 모듈을 새로 학습시키는 게 정석이었다. 근데 이 연구는 VLM을 프리즈한 채로 두고 트레이닝 없이 스피치 중심 옴니 이해를 붙인다. 사이드프로젝트 하면서 파인튜닝할 GPU 예산도 시간도 없어서 기존 API 조합으로 때우는 입장에서는, "이미 있는 모델 재학습 없이 이어붙이기"가 실제로 되는 방향이 훨씬 현실적으로 다가온다. 엔진 코드 안 건드리고 플러그인만 붙여서 기능 확장하는 거랑 비슷한 느낌이다. 출처: HuggingFace Papers
오케스트레이터도, 추론 과정도, 옴니 모델도 결국 새로 만드는 것보다 이미 있는 걸 어떻게 더 잘 조립하고 설명하느냐 싸움으로 가고 있다.