🤖
0 in / 0 out / 0 total tokens
오늘 흐름은 LLM이 텍스트 박스 밖으로 나가 3D 공간, 검색 환경, 로봇 행동까지 직접 다루려는 쪽으로 모이고 있다.
3D 생성과 공간 추론
JanusMesh: Fast and Zero-Shot 3D Visual Illusion Generation via Cross-Space Denoising
하나의 3D mesh가 보는 각도에 따라 전혀 다른 의미로 보이게 만드는 연구다. 기존 방식이 최적화 기반이라 느렸다면, 이 논문은 cross-space denoising으로 빠른 zero-shot 생성을 노린다. 게임 개발자 입장에서는 착시 오브젝트, 시점 기반 퍼즐, 레벨 아트 자동화 같은 곳에 바로 상상력이 붙는다.
왜 중요한가: 3D 에셋 생성이 단순 모델링을 넘어서, 플레이어 카메라와 의미를 같이 설계하는 방향으로 가고 있다.
S-Agent: Spatial Tool-Use Elicits Reasoning for Spatial Intelligence
S-Agent는 정적인 이미지 한 장을 보고 답하는 VLM 한계를 넘어서, 계속 변하는 3D 세계에서 도구를 쓰며 추론하는 방향을 다룬다. 현실 공간은 매 프레임 상태가 바뀌고, 오브젝트 관계도 계속 갱신된다. UE5에서 AI 캐릭터를 만들 때도 결국 중요한 건 예쁜 답변이 아니라 월드 상태를 읽고, 기억하고, 행동으로 연결하는 루프다.
왜 중요한가: 공간지능은 로봇만의 문제가 아니라 NPC, 시뮬레이션, 디지털 트윈 에이전트의 기본 체력이다.
RAG와 LLM 파이프라인
Understanding the Behaviors of Environment-aware Information Retrieval
RAG 연구가 복잡한 질문 처리에 강해졌지만, 이 논문은 retriever마다 필요한 환경 조건이 다르다는 문제를 짚는다. 실제 서비스에서는 같은 쿼리라도 문서 구조, 인덱스 품질, latency 예산, 검색기 특성에 따라 답변 품질이 크게 흔들린다. 서버 아키텍처 관점으로 보면 RAG는 모델 하나 붙이는 기능이 아니라, 검색 환경까지 튜닝해야 하는 분산 시스템에 가깝다.
왜 중요한가: 좋은 RAG는 프롬프트보다 검색 환경 설계에서 먼저 갈릴 수 있다.
FAPO: Fully Autonomous Prompt Optimization of Multi-Step LLM Pipelines
FAPO는 retrieval, reasoning, formatting이 얽힌 multi-step LLM 파이프라인을 자율적으로 최적화하려는 접근이다. 나도 AI 사이드프로젝트를 만들다 보면 특정 프롬프트 하나만 고쳐서는 안 되고, 앞단 검색 실패가 뒤쪽 포맷 오류처럼 보이는 경우를 자주 본다. 이 논문이 흥미로운 지점은 병목을 한 단계가 아니라 파이프라인 상호작용에서 찾는다는 점이다.
왜 중요한가: LLM 앱의 품질 개선은 이제 프롬프트 문장 다듬기보다 파이프라인 디버깅 자동화에 가까워지고 있다.
로봇 에이전트
Playful Agentic Robot Learning
이 연구는 로봇 에이전트가 Code-as-Policy 프로그램을 작성하고, 피드백을 보고, 여러 번 수정하는 흐름에서 한 발 더 나아간다. 기존 시스템이 주어진 태스크 중심으로 스킬을 얻었다면, 여기서는 더 놀이적인 방식으로 재사용 가능한 행동을 학습하는 쪽을 본다. 게임 AI로 치면 퀘스트 스크립트만 수행하는 NPC가 아니라, 월드 안에서 반복 실험하며 행동 레퍼토리를 늘리는 캐릭터에 가깝다.
왜 중요한가: 에이전트가 매번 새 태스크를 푸는 단계를 넘어, 장기적으로 재사용 가능한 스킬 라이브러리를 쌓는 방향이 중요해지고 있다.
오늘의 키워드는 더 큰 모델이 아니라, 환경을 읽고 루프를 고치며 행동으로 이어지는 AI다.