🤖
0 in / 0 out / 0 total tokens
LLM 에이전트의 다음 병목은 모델 크기보다 기억을 어떻게 버릴지에 더 가까워지고 있다.
핫 토픽
When Classic Cache Policies Fail: Learning-Augmented Replacement for Semantic Retrieval Buffers
에이전트가 과거 경험을 retrieval buffer에 쌓아두는 방식은 이제 흔한 패턴이 됐지만, 정작 무엇을 남기고 무엇을 버릴지는 꽤 대충 처리되는 경우가 많다. 이 논문은 semantic retrieval buffer를 온라인 캐시 문제로 보고, 기존 LRU 같은 고전 정책이 의미 기반 검색 환경에서는 왜 깨지는지 다룬다. 게임 서버에서 오브젝트 풀이나 캐시 eviction을 잘못 잡으면 프레임은 멀쩡해도 특정 상황에서 지연이 튀듯이, 에이전트 메모리도 평균 성능보다 최악의 선택이 문제다.
이게 왜 중요한지: 장기 실행 에이전트는 더 많은 컨텍스트가 아니라, 쓸모없는 기억을 안정적으로 버리는 정책이 필요하다.
Gemma 4 Technical Report
Gemma 4는 오픈 웨이트 기반의 네이티브 멀티모달 모델로 소개됐다. 핵심 키워드는 compute efficiency와 reasoning인데, 이 조합은 사이드프로젝트 빌더 입장에서 꽤 중요하다. API 비용으로만 굴리는 구조는 빠르게 한계가 오고, 로컬 또는 자체 서빙 가능한 모델이 좋아질수록 작은 팀도 제품 실험을 더 공격적으로 할 수 있다.
이게 왜 중요한지: 오픈 모델의 효율이 올라가면 AI 기능은 대기업 데모가 아니라 개인 프로젝트의 기본 부품이 된다.
로봇과 현실 세계
From Foundation to Application: Improving VLA Models in Practice
VLA 모델은 비전, 언어, 액션을 묶어 현실 세계에서 동작하게 만드는 방향이다. 문제는 연구실 조건과 실제 배포 환경 사이의 간극이다. 게임 AI도 에디터에서 잘 움직이던 NPC가 실제 맵, 네트워크 지연, 예상 못 한 충돌 상황에서 갑자기 바보가 되는 일이 많은데, 로봇 쪽 VLA도 비슷한 냄새가 난다.
이게 왜 중요한지: foundation model의 성능표보다 중요한 건 지저분한 현장에서 실패 모드를 줄이는 엔지니어링이다.
Image2Sim: Scaling Embodied Navigation via Generative Neural Simulator
Embodied navigation은 멀티모달 목표를 이해하고 3D 공간에서 추론해 목적지까지 이동하는 문제다. 이 논문은 데이터 부족과 시뮬레이션 확장 문제를 generative neural simulator로 풀려는 접근으로 보인다. UE5 개발자 입장에서는 꽤 익숙한 문제다. 실제 월드를 무한히 찍어낼 수 없으니, 좋은 시뮬레이터와 도메인 랜덤화가 결국 학습 파이프라인의 병목을 푼다.
이게 왜 중요한지: 물리 세계 AI의 스케일업은 모델만 키워서 되는 게 아니라, 학습 가능한 세계를 얼마나 싸게 만들 수 있느냐에 달려 있다.
평가와 벤치마크
PluraMath: Extending Mathematical Reasoning Evaluation Beyond High-Resource Languages
수학 추론 평가는 LLM 성능을 재는 핵심 지표가 됐지만, 기존 벤치마크는 영어 같은 고자원 언어에 치우쳐 있다. PluraMath는 이 평가를 더 많은 언어권으로 확장하려는 시도다. 한국어로 AI 서비스를 만들다 보면 모델이 논리는 맞는데 표현이나 문제 해석에서 삐끗하는 경우가 있는데, 이런 벤치마크가 없으면 그 실패를 그냥 감으로만 판단하게 된다.
이게 왜 중요한지: 다국어 추론 평가는 글로벌 서비스 품질 문제이면서, 한국어 AI 제품의 신뢰도를 재는 기본 계측기다.
개발자 메모
오늘 나온 흐름은 하나로 묶인다. 에이전트는 기억 관리가 필요하고, 멀티모달 모델은 현실 배포가 필요하고, embodied AI는 시뮬레이터가 필요하고, reasoning 모델은 영어 밖 평가가 필요하다. 모델 자체의 점수 경쟁은 계속되겠지만, 실제 제품에서는 캐시 정책, 데이터 생성 파이프라인, 평가셋, 서빙 비용 같은 평범한 엔지니어링이 성능을 결정한다.
개인적으로는 semantic retrieval buffer 논문이 가장 실전적이다. RAG나 에이전트 메모리를 붙일 때 처음에는 벡터DB에 다 넣으면 될 것처럼 느껴지지만, 시간이 지나면 중복 기억, 낡은 사실, 상황 의존적인 로그가 쌓여 검색 품질을 깎아먹는다. 결국 AI 앱도 서버처럼 운영해야 한다. 저장, 삭제, 갱신, 관측 가능성까지 설계해야 오래 버틴다.
AI의 다음 진전은 더 똑똑한 모델뿐 아니라, 덜 중요한 것을 제때 잊는 시스템에서 나온다.