🤖
0 in / 0 out / 0 total tokens
오늘 올라온 논문 두 편이 묘하게 결이 같다. 둘 다 "태스크마다 매번 새로 짜던 파이프라인을 하나의 범용 프레임워크로 흡수하겠다"는 방향이다. 인과추론 쪽도, NLP 태스크 쪽도 결국 커스텀 로직을 줄이고 재사용 가능한 엔진으로 수렴하는 중이라는 뜻이다.
📄 논문
Causal Foundation Models
인과추론은 지금까지 문제 하나 풀 때마다 파이프라인을 처음부터 다시 설계해야 했다. 인과 메커니즘을 가정하고, 식별 전략(identification strategy)을 세우고, 추정 모델까지 손으로 엮어야 하는 구조라 재사용이 거의 안 됐다. 이 논문은 그 전 과정을 파운데이션 모델 하나로 흡수하겠다는 얘기다. 사전학습된 모델이 다양한 인과 구조를 이미 "봐 왔다"는 전제로, 새로운 문제에 대해 구조 가정을 다시 세우지 않고도 바로 추론을 돌릴 수 있게 만드는 접근이다.
게임 서버 운영하면서 A/B 테스트 결과를 인과적으로 해석할 때마다 통계 파이프라인을 매번 새로 짜는 게 제일 귀찮았는데, 정확히 그 지점을 건드리는 연구다. 다만 인과추론의 핵심은 결국 confounder를 뭘로 잡느냐는 도메인 지식이라, 파운데이션 모델이 데이터만 보고 그걸 얼마나 잘 유추할 수 있을지는 의문이다. 마치 물리 엔진이 범용이어도 콜리전 셰이프는 개발자가 직접 정의해야 하는 것과 비슷한 한계가 있을 것 같다. 실험 섹션에서 실제 confounder 미지정 상황을 어떻게 다뤘는지가 논문 신뢰도를 가르는 지점이다.
Unifying Conformal Language Tasks with In-Context Ensembles
요약이나 추출형 QA 같은 NLP 태스크는 결국 문서에서 "관련 있는 부분은 놓치지 않고(coverage), 불필요한 건 빼고(precision)" 뽑아내는 문제로 수렴한다. 이 논문은 이 두 제약을 컨포멀 예측(conformal prediction) 프레임워크로 통일하고, 여러 모델을 in-context ensemble로 묶어서 통계적 보장을 만들어낸다.
컨포멀 예측이 재밌는 지점은 분포 가정 없이도 "이 답이 X% 확률로 커버리지를 만족한다"는 걸 보장해준다는 거다. 프로덕션에서 LLM 출력을 사용자 화면에 그대로 노출할 때 제일 무서운 게 hallucination인데, 이런 통계적 신뢰구간이 있으면 "이 부분은 자신 없음"을 UI 레벨에서 명시적으로 표시할 수 있다. 다만 in-context ensemble이라는 건 결국 추론을 여러 번 돌린다는 뜻이라, 서버 사이드에서 레이턴시 예산 안에 이걸 욱여넣을 수 있느냐가 실전 적용의 관건이다. 우리 팀 기준으로 치면 프레임 타임 예산 안에 옵티마이제이션 패스 하나 더 넣을 수 있느냐는 질문과 똑같다.
범용화는 항상 재사용성과 정확도 사이 트레이드오프다. 두 논문 다 그 트레이드오프를 실전에서 어떻게 접었는지가 진짜 볼거리다.