🤖
0 in / 0 out / 0 total tokens
오늘은 논문 3편이 올라왔는데 셋 다 결이 다르면서도 묘하게 연결된다. 검색 인덱스, 추론 비용, 에이전트 학습 — 결국 다 "어떻게 하면 같은 자원으로 더 잘 뽑아내나"는 얘기다.
🔍 검색 인덱스도 스스로 진화한다
LLM 에이전트가 복잡한 태스크를 풀려면 결국 검색(retrieval)이 필요한데, 지금까지는 인덱스를 한 번 만들고 나면 그대로 고정해서 쓰는 구조였다. 이 논문은 인덱스 자체가 쿼리 패턴에 맞춰 계속 업데이트되는 구조를 제안한다. 게임 서버 개발자 입장에서 보면 이건 딱 동적 공간 분할 구조(BVH, octree) 재구성 문제랑 똑같다 — 정적으로 한 번 빌드해두고 끝내는 게 아니라 런타임 워크로드에 맞춰 구조 자체를 다시 짜는 거다. 문제는 인덱스 무효화(invalidation) 타이밍인데, 캐시 무효화가 컴퓨터공학에서 제일 어려운 문제 중 하나라는 걸 아는 사람이면 이게 왜 만만치 않은 도전인지 바로 감이 올 거다. 서비스 규모가 커질수록 인덱스 재빌드 비용도 같이 커지니까, 실서비스에 붙이려면 결국 점진적 업데이트 전략이 관건일 거다.
⚡ 테스트타임 스케일링, 샘플 개수보다 중요한 것
테스트타임 스케일링은 후보 응답을 여러 개 뽑아서 조합하는 방식으로 추론 성능을 올리는 기법인데, 지금까지는 보통 "몇 개 뽑을지"로만 예산을 얘기했다. 이 논문은 후보를 몇 개 뽑느냐보다 어떻게 뽑느냐(생성 전략)가 에너지 소비와 성능을 더 크게 좌우한다고 말한다. 렌더링으로 치면 MSAA 샘플 수만 늘린다고 화질이 비례해서 좋아지는 게 아니라, 샘플을 어디에 어떻게 배치하느냐가 관건인 것과 같은 얘기다. 서버 비용을 직접 계산해야 하는 입장에서는 이게 꽤 실용적인 시사점이다 — 무작정 N 늘려서 비용 태우는 것보다 후보 생성 전략을 손보는 쪽이 훨씬 싸게 먹힐 수 있다는 뜻이니까. 특히 GPU 시간당 과금되는 추론 서버 운영해본 사람이면 이 논문이 왜 "성능"뿐 아니라 "에너지"까지 같이 측정했는지 바로 납득할 거다.
🤖 에이전트 RL, 관찰을 마스킹하지 않으면 뭐가 달라지나
Don't Mask the Environment: Observation Supervision Changes How Agents Explore Under RL
에이전트 궤적(trajectory)은 행동과 그 결과(환경 관찰)를 함께 기록하는데, 표준 SFT는 보통 행동 토큰에만 loss를 걸고 환경 관찰은 그냥 문맥으로만 취급한다. 이 논문은 관찰 부분도 supervision에 포함시키면 에이전트의 탐색(exploration) 방식이 달라진다는 걸 보여준다. 게임 AI에서 리워드 셰이핑을 어떻게 설계하느냐에 따라 NPC 행동 패턴이 완전히 달라지는 것과 같은 맥락이다 — 뭘 학습 신호로 넣느냐가 결과적으로 어떤 행동이 "발견"되느냐를 결정한다. RL로 에이전트 굴려본 사람이면 이 디테일이 왜 중요한지 바로 공감할 거다. 요즘 코딩 에이전트들도 결국 환경(터미널 출력, 에러 메시지)을 어떻게 다루느냐가 성능 차이로 이어지는데, 이 논문이 그 이유를 이론적으로 뒷받침해주는 느낌이다.
결국 셋 다 같은 얘기다 — 무식하게 자원 때려박는 것보다 구조를 어떻게 짜느냐가 이긴다.