🤖
0 in / 0 out / 0 total tokens
오늘 뜬 논문 4편을 관통하는 키워드는 압축이다. 트랜스포머 해석가능성 하나, 시계열 압축 하나, DNN 압축 하나, 로봇 정책의 언어 전이 하나 — 방향은 다 다른데 결국 "모델이 가진 정보를 얼마나 효율적으로 다루느냐"라는 질문으로 수렴한다.
🔬 트랜스포머는 언제부터 "안다"고 할 수 있나
Encoded Early, Used Late: Where Transformers Begin to Act on an Inferred Partner's Expertise 논문 보기
트랜스포머의 residual stream을 레이어별로 뜯어보면, "상대방이 뭘 알고 있는지"에 대한 정보가 선형적으로 디코딩 가능한 상태로 꽤 이른 레이어부터 존재한다. 그런데 정작 모델의 출력은 그 정보를 한참 뒤의 레이어에 가서야 반영한다. 정보가 "쓰여있는" 깊이와 실제로 "쓰이는" 깊이 사이에 간극이 있다는 얘기다.
이게 왜 중요하냐면, NPC 대화 시스템이나 에이전트형 AI를 만들 때 "이 모델이 상대방 상태를 인지하고 있다"는 판단을 attention이나 probe 결과만 보고 내리면 안 된다는 뜻이기 때문이다. probe로 정보가 잡힌다고 해서 그게 실제 행동/출력에 곧바로 반영된다는 보장은 없다. 디버깅할 때 자주 낚이는 함정이라 눈여겨볼 만하다.
🗜️ 압축 두 편 — 시계열과 가중치
Cadence: Error-Bounded Lossy Compression of Demand Time Series with a Time-Series Foundation Model 논문 보기
Google TimesFM-3 기반 3.3억 파라미터 파운데이션 모델을 적응형 산술 코더와 묶어서, 에러 바운드가 보장되는 손실 압축을 하는 논문이다. 시계열을 그냥 통째로 gzip 때리는 게 아니라, 모델이 다음 값을 예측하고 그 잔차만 인코딩하는 방식에 가깝다.
서버 텔레메트리나 유저 행동 로그처럼 시계열 데이터를 산더미로 쌓아두는 입장에서는 꽤 탐나는 접근이다. 다만 "파운데이션 모델을 압축기로 쓴다"는 건 추론 비용이 그대로 압축 비용에 얹힌다는 뜻이라, 실시간 로그 파이프라인엔 아직 부담스럽다. 배치로 돌리는 콜드 스토리지 압축 용도로는 바로 시도해볼 만하다.
SQS: Bayesian DNN Compression through Sparse Quantized Sub-distributions 논문 보기
가지치기(pruning)와 양자화(quantization)를 따로 순서대로 돌리지 말고, 베이지안 서브분포로 묶어서 한번에 최적화하자는 논문이다. 둘을 순차로 하면 각 단계의 손실이 보정 없이 그대로 누적된다는 문제의식에서 출발한다.
콘솔이나 모바일에 온디바이스 모델을 얹어야 할 때 pruning 하고 quantization까지 순서대로 돌리다 정확도가 계단식으로 깎여나가는 걸 여러 번 봤다. 이 둘을 하나의 최적화 문제로 묶어서 푼다는 방향 자체는 합리적인데, 실전에서 학습/캘리브레이션 비용이 얼마나 늘어나는지가 진짜 관건이다.
🤖 로봇도 결국 언어를 탄다
Measuring Language Transfer in Robot Policies: Adding Greek to a Cosmos3 Vision-Language-Action Policy 논문 보기
로봇 파운데이션 모델은 거의 다 영어로 학습되고 평가되는데, 이 논문은 Cosmos3 기반 VLA(Vision-Language-Action) 정책에 그리스어를 얹어서 언어 전이가 실제로 되는지를 측정한다.
로컬라이제이션이 게임 개발에서 항상 마지막에 밀려나는 것처럼, 로봇 파운데이션 모델도 영어 중심으로 학습된 뒤 다른 언어는 사후 땜빵으로 붙는 구조인 셈이다. VLA 정책이 언어를 얼마나 "이해"하고 있는지, 아니면 그냥 영어 표면 패턴에 얼마나 의존하고 있는지를 가늠하는 척도로 봐도 흥미로운 실험이다.
오늘의 논문 4편은 결국 "모델이 아는 것"과 "모델이 실제로 쓰는 것" 사이의 간극을 어떻게 좁히느냐로 수렴한다.