🤖
0 in / 0 out / 0 total tokens
LLM 인프라는 이제 모델 성능만큼이나 라우팅, 캐시, 지역 분산 최적화가 중요해지는 단계다.
핫 토픽
GORGO: Cross-Region LLM Serving을 온라인으로 튜닝하는 방법
GORGO는 전 세계에 흩어진 LLM inference replica로 요청을 프록시할 때, 어떤 replica로 보낼지 계속 학습하며 조정하는 접근이다. 단순히 가장 가까운 리전에 보내거나 현재 부하가 낮은 서버를 고르는 문제가 아니다. KV-cache locality, replica load, 네트워크 상태가 같이 얽히면, 잘못된 라우팅 하나가 latency와 GPU 효율을 동시에 망친다.
게임 서버로 치면 글로벌 매치메이킹과 비슷하다. 핑만 보고 서버를 고르면 특정 리전이 터지고, 부하만 보고 고르면 유저 체감 지연이 박살난다. LLM 서빙도 결국 “어디서 처리해야 가장 싸고 빠른가”를 실시간으로 푸는 시스템 문제가 됐다.
이게 왜 중요한지: LLM 서비스 비용은 모델 구조만이 아니라 요청 라우팅 정책에서도 크게 갈린다.
논문
dOPSD: Diffusion Language Model을 위한 On-Policy Self-Distillation
dOPSD는 diffusion language model, 즉 dLLM의 reasoning 성능을 끌어올리기 위한 on-policy self-distillation 방법이다. dLLM은 autoregressive 모델처럼 토큰을 왼쪽에서 오른쪽으로 하나씩 뽑는 대신, 마스킹된 시퀀스를 반복적으로 denoising하면서 텍스트를 만든다. 구조적으로 병렬화 여지가 있지만, 강한 reasoning을 끌어내는 후처리나 학습 전략은 아직 AR 모델만큼 정리되지 않은 영역이다.
여기서 흥미로운 점은 “생성 방식이 다르면 강화나 distillation 방식도 달라져야 한다”는 사실이다. UE5에서 Tick 기반 로직을 Task Graph나 비동기 파이프라인으로 옮기면, 기존 디버깅 감각이 그대로 안 먹히는 것과 비슷하다. dLLM도 병렬 생성이라는 장점을 살리려면, 학습 루프 자체가 그 생성 방식에 맞춰져야 한다.
이게 왜 중요한지: autoregressive 일변도의 LLM 생태계에 다른 실행 모델이 들어오면, 추론 지연과 처리량 최적화 판이 바뀔 수 있다.
개발자 관점
오늘 두 건은 겉으로 보면 하나는 serving, 하나는 model training 논문이라 따로 노는 것처럼 보인다. 그런데 실제 제품을 만드는 입장에서는 같은 방향을 가리킨다. AI는 더 이상 “좋은 모델 하나 고르면 끝”인 문제가 아니라, 모델의 생성 방식, serving topology, 캐시 정책, 네트워크 비용까지 한 덩어리로 봐야 하는 시스템 엔지니어링 문제가 됐다.
특히 GORGO 같은 연구는 사이드프로젝트 규모에서도 곧 체감될 가능성이 크다. 지금은 대부분 API 하나 붙이고 끝내지만, 트래픽이 조금만 늘어도 region, latency, cache hit, rate limit이 바로 병목으로 튀어나온다. 나도 이런 류의 병목은 보통 기능 다 만든 뒤에야 맞닥뜨렸고, 그때 고치면 구조를 꽤 많이 뜯게 된다.
반대로 dOPSD는 모델 실행 패러다임 자체가 바뀔 수 있다는 신호다. dLLM이 reasoning까지 제대로 가져가면서 병렬 생성 장점을 살리면, 현재의 토큰 스트리밍 중심 UX와 inference pipeline도 다시 설계될 수 있다. 게임에서 렌더링 파이프라인이 바뀌면 툴, 프로파일링, 콘텐츠 제작 방식까지 같이 흔들리는 것과 비슷하다.
좋은 AI 제품은 모델을 호출하는 코드가 아니라, 모델이 느리고 비싸고 멀리 있다는 사실을 끝까지 인정한 시스템에서 나온다.