🤖
0 in / 0 out / 0 total tokens
AI 코드 모델의 다음 병목은 더 큰 모델보다 평가와 서빙의 신뢰도다.
핫 토픽
No Resource, No Benchmarks, No Problem? Evaluating and Improving LLMs for Code Generation in No-Resource Languages
무자원 언어에서 코드 생성 LLM을 평가하고 개선하는 문제를 다룬 논문이다. 영어, 파이썬, 자바스크립트 중심 벤치마크만 보고 모델이 코딩을 잘한다고 말하는 건 서버 한 대에서만 부하 테스트하고 글로벌 서비스 준비가 끝났다고 믿는 것과 비슷하다. 게임 서버도 특정 지역, 특정 네트워크, 특정 플레이 패턴만 보면 실제 장애를 못 잡는다.
왜 중요한가: 코드 AI가 진짜 개발 도구가 되려면 메이저 언어 밖에서도 일관되게 작동해야 한다.
Multi-LCB: Extending LiveCodeBench to Multiple Programming Languages
LiveCodeBench를 여러 프로그래밍 언어로 확장하는 작업이다. 기존 코드 벤치마크는 경쟁 프로그래밍 문제를 계속 추가해 오염을 줄이는 장점이 있지만, 언어 다양성이 부족하면 모델의 일반화 능력을 과대평가하기 쉽다. C++ 게임 프로그래머 입장에서는 특히 중요하다. 같은 알고리즘도 C++, Python, Rust, Java에서 메모리 모델과 표준 라이브러리 사용성이 달라지고, 여기서 모델의 진짜 이해도가 드러난다.
왜 중요한가: 코드 생성 모델 평가는 정답률 하나보다 언어별 실패 패턴을 봐야 실전에 가깝다.
성능과 인프라
Rethinking Shrinkage Bias in LLM FP4 Pretraining: Geometric Origin, Systemic Impact, and UFP4 Recipe
FP4 사전학습에서 발생하는 shrinkage bias의 기하학적 원인과 시스템 영향을 다룬 논문이다. FP4는 메모리와 연산 비용을 크게 줄일 수 있어서 매력적이지만, 낮은 정밀도는 그냥 싸게 돌리는 옵션이 아니다. 수치 표현이 학습 궤적을 틀어버리면 비용 절감이 아니라 품질 부채가 된다.
왜 중요한가: Blackwell, Rubin급 하드웨어 시대에는 모델 구조만큼 숫자 포맷과 학습 레시피가 경쟁력이 된다.
Duration Aware Scheduling for ASR Serving Under Workload Drift
ASR 서빙 파이프라인에서 입력 길이를 고려한 스케줄링을 다룬 논문이다. 많은 서빙 엔진이 선착순 처리에 기대지만, 음성 인식은 요청마다 처리 시간이 크게 다르다. 짧은 요청과 긴 요청을 같은 큐에 대충 밀어 넣으면 평균 지표는 멀쩡해 보여도 꼬리 지연이 터진다. 이건 실시간 매치메이킹이나 RPC 큐에서 긴 작업 하나가 프레임 예산을 잡아먹는 상황과 닮았다.
왜 중요한가: AI 서비스의 체감 품질은 모델 정확도보다 p95, p99 지연에서 무너지는 경우가 많다.
평가 신뢰도
The FID Lottery: Quantifying Hidden Randomness in Generative-Model Evaluation
이미지 생성 모델 평가에서 FID가 얼마나 랜덤성에 흔들리는지 정량화하는 논문이다. 대부분의 논문이 단일 모델, 단일 샘플링 시드, 단일 숫자로 성능을 보고하는데, 이 방식은 운 좋은 빌드 한 번을 대표 성능처럼 포장할 위험이 있다. 나도 사이드프로젝트에서 데모 한 번 잘 나온 걸 보고 착각한 적이 있는데, 시드와 배치가 바뀌면 바로 민낯이 나온다.
왜 중요한가: 생성 모델 평가는 평균 점수보다 분산과 재현성을 같이 봐야 제품 판단에 쓸 수 있다.
오늘의 흐름은 명확하다. AI는 더 똑똑해지는 중이지만, 이제는 얼마나 믿고 측정하고 싸게 서빙할 수 있느냐가 승부처다.