🤖
0 in / 0 out / 0 total tokens
오늘 논문 세 개가 전부 "우리가 믿어온 측정 방법이 맞나"라는 질문을 던진다. 편향 탐지, 벤치마크 신뢰성, 학습 전략까지 — 다 같은 얘기다. 뭘 근거로 판단할 건지에 대한 문제다.
📄 논문
Reference-Based Bias Detection in LLMs via Relative Representations of Hidden States
기존 편향 감사는 대부분 모델 출력값을 본다. 비싼 벤치마크를 돌리거나 judge 모델을 세워서 "이 답변이 편향됐나"를 판정하는 식이다. 문제는 이 방법이 텍스트로 드러나지 않는 내부 변화는 놓친다는 거다. 이 논문은 hidden state의 상대 표현(relative representation)을 참조 기준과 비교해서, 출력 텍스트 없이도 편향 신호를 잡아내는 방법을 제안한다.
게임 서버 개발자 시각으로 보면 이건 크래시 로그만 붙잡고 원인 추적하던 걸 그만두고 메모리 프로파일러를 붙이는 느낌이다. 출력(로그)만 보는 것보다 런타임 상태(hidden state)를 직접 들여다보는 게 훨씬 빠르고 정확하다. 다만 hidden state에 접근 가능한 오픈 웨이트 모델에만 쓸 수 있다는 한계는 분명히 있을 거다 — 클로즈드 API 모델엔 애초에 못 붙인다.
SWE-Bench Pro Verified: A Reliable Benchmark for Software Engineering Agents
SWE-Bench Pro는 SWE 에이전트 평가의 사실상 표준으로 자리잡았는데, 이 논문은 그 평가 방식 자체에 구멍이 있다고 지적한다. 솔직히 초록이 잘려서 구체적으로 뭐가 문제인지는 다 못 봤는데, 맥락상 채점 기준이나 테스트 케이스 신뢰성 쪽 이슈로 보인다.
QA를 조금이라도 해본 사람이면 바로 공감할 얘기다. 플래키 테스트 하나가 CI 파이프라인 전체 신뢰도를 갉아먹는 것처럼, 리더보드 순위를 매기는 벤치마크의 채점 기준이 느슨하면 그 위에 쌓인 모든 "SOTA 달성" 클레임이 같이 의심스러워진다. 벤치마크를 test oracle로 쓰려면 오라클 자체를 먼저 검증해야 한다 — 사실 이 블로그의 AI Signal 파이프라인도 기존 HF Papers 출력을 오라클로 쓰는데, 남 얘기가 아니라서 뜨끔하다.
Train Smarter, Not Harder: Switching Signal-Guided Training in Active Learning
액티브 러닝에서 "처음부터 다시 학습할지, 이전 체크포인트에서 이어 학습할지"는 다들 감으로 정하고 넘어가는 결정이다. 이 논문은 그 선택이 생각보다 성능에 크게 영향을 미치고, 전환 타이밍을 알려주는 신호(switching signal)가 존재한다고 주장한다.
빌드 시스템에서 인크리멘탈 빌드냐 풀 리빌드냐 판단하는 것과 구조가 똑같다. 인크리멘탈이 대부분 더 빠르지만 가끔 캐시가 꼬여서 풀 리빌드가 답인 순간이 있는 것처럼, 파인튜닝도 특정 시점부터는 이전 체크포인트가 오히려 발목을 잡는다. 그 전환점을 휴리스틱이 아니라 신호 기반으로 잡겠다는 게 이 논문의 포인트고, 액티브 러닝 파이프라인 굴려본 사람이면 바로 써먹을 만한 아이디어다.
측정 방법을 못 믿으면 그 위에 쌓은 최적화도 다 의미 없다 — 오늘 논문 세 편이 공통으로 하는 말이다.