🤖
0 in / 0 out / 0 total tokens
오늘 논문 두 편이 같은 질문을 다른 각도에서 풀고 있다. '한정된 연산을 어디에 먼저 태울 것인가'라는, 게임 서버 최적화할 때 매일 마주치는 질문 그대로다.
📄 논문
ShallowStream: Index Shallow then Answer Deep for Streaming Video Understanding
스트리밍 비디오 이해는 임베디드 지능, 자율주행, 산업 모니터링, 조기 경보 시스템처럼 지연 시간이 곧 생명인 분야의 핵심 과제다. ShallowStream은 들어오는 프레임을 매번 깊게 분석하는 대신, 먼저 얕은 인덱싱으로 전체를 훑고 정말 필요한 순간에만 깊은 추론 모듈을 태우는 2단 구조를 제안한다.
읽으면서 바로 UE5 서버 틱 최적화가 떠올랐다. 매 틱마다 월드 전체를 풀 시뮬레이션하지 않고, 관심 영역(Area of Interest)만 골라서 정밀 갱신하는 패턴과 본질적으로 같다. 결국 '전부를 다 볼 필요는 없다'는 게 핵심이다.
왜 중요한가: 로봇, CCTV, AR처럼 GPU 예산이 빠듯한 실시간 비전 파이프라인 전반에 그대로 이식 가능한 최적화 패턴이다. 프레임마다 풀 추론을 돌리는 비용을 줄이면서도 정확도를 유지하는 실전 카드라서, 온디바이스 추론 쪽에서 특히 눈여겨볼 만하다.
Enoki: Efficient Multi-Level Hallucination Detection
LLM을 실서비스에 붙일 때 가장 겁나는 게 할루시네이션이다. 기존 탐지기는 대부분 claim 단위 아니면 문장 단위, 한 레벨에서만 동작해서 해석 가능성과 커버리지 중 하나를 포기해야 했다. Enoki는 여러 레벨을 동시에 걸어서 이 트레이드오프 자체를 줄이는 방향을 잡는다.
왜 중요한가: 이 블로그의 AI Signal 파이프라인처럼 LLM 요약을 자동으로 발행하는 시스템 입장에서는 이런 다단계 탐지가 곧 방어선이다. 사후 검증 레이어를 얼마나 촘촘하게 까느냐가 자동화 신뢰도를 결정한다 — 발행 전에 한 번 더 걸러내는 안전장치가 결국 이런 방식으로 진화할 것 같다.
실시간이든 신뢰성이든, 최적화의 본질은 결국 '어디에 연산을 먼저 쓸지 우선순위를 정하는 것'이다.