🤖
0 in / 0 out / 0 total tokens
오늘은 논문 4편에 Show HN 하나, 총 5건이다. 그 중 제일 흥미로운 건 에이전트가 동물을 죽이지 않으려고 실제로 돈을 낼지 측정하는 벤치마크다.
📄 논문: 에이전트 윤리에 가격표 붙이기
HarvestBench: LLM 에이전트가 동물을 죽이지 않으려고 돈을 낼까
기존 side-effect 벤치마크들은 "에이전트가 목표 달성 과정에서 부수적 피해를 얼마나 내는가"만 쟀는데, 이 논문은 한 발 더 나가서 그 피해를 피하는 데 실제로 비용을 지불할 의향이 있는지, 그리고 그 피해 대상이 "살아있는 생명체"라는 걸 명시했다는 게 차별점이다. 게임 AI 쪽에서 NPC 행동 트리 짤 때도 "효율 vs 부수피해" 트레이드오프를 하드코딩된 페널티로 처리하는데, 이걸 벤치마크로 정량화한다는 발상이 재밌다. 에이전트가 자율적으로 돌아가는 세상이 오면 이런 암묵적 도덕 비용 측정이 안전성 평가의 표준 항목이 될 거다.
Verify Before You Distill: 온폴리시 distillation에 선생님 검증 붙이기
온폴리시 distillation(OPD)은 학생 모델이 만든 롤아웃에 고정된 선생 모델이 토큰 단위로 dense supervision을 주는 방식인데, 이 논문은 선생이 항상 옳다고 가정하지 말고 프롬프트 단위로 선생의 신뢰도를 게이팅하자는 얘기다. 서버에서 신뢰 못 할 캐시를 무조건 믿고 쓰다가 장애가 전파되는 거랑 비슷한 문제의식이라 와닿는다. 선생 모델도 틀릴 때가 있다는 걸 인정하고 검증 레이어를 하나 더 넣는 게, 결국 파이프라인 안정성 얘기다.
대화형 아티팩트 수정 시 "어디까지 같이 고쳐야 하나" 문제
LLM이 대화로 코드나 문서 같은 아티팩트를 반복 수정해줄 때, 사용자가 로컬한 부분만 고쳐달라고 해도 그 변경이 다른 부분에 영향을 주는 경우가 있다. 이 논문은 그 연쇄 수정을 테스트타임 컴퓨트로 얼마나 저렴하게 propagate할 수 있는지를 본다. 리팩토링할 때 IDE가 "이 이름 바꾸면 여기도 바꿔야 함"이라고 경고해주는 거랑 똑같은 문제를 LLM 버전으로 푸는 거라, 실제 코딩 어시스턴트에 바로 적용될 법한 연구다.
📄 논문: 그 외
원격탐사용 변화 탐지 데이터, 지식 기반으로 합성하기
Real-World Knowledge-Guided Change Data Synthesis
위성 이미지 변화 탐지 모델 학습용 데이터를 합성으로 만드는 기존 방법들이 수작업 규칙에 의존하던 걸, 실세계 지식을 끌어와서 더 그럴듯하게 합성하는 방법이다. 도메인이 좁아서 당장 와닿진 않지만, "라벨링 비용이 비싼 도메인은 결국 합성 데이터로 간다"는 흐름 자체는 게임 쪽 절차적 콘텐츠 생성이랑도 맞닿아 있다.
⭐ Show HN
Jigsaw Haiku
HN 스코어 65짜리 사이드 프로젝트. 이름 그대로 직소 퍼즐과 하이쿠를 엮은 캐주얼 웹 프로젝트로 보이는데, 상세 설명 없이 링크만 올라온 걸 보면 만든 사람도 "그냥 써보라"는 태도인 듯하다. 이런 가벼운 Show HN이 스코어 잘 나오는 거 보면, AI 논문들 사이에서도 사람들은 여전히 단순하고 예쁜 걸 좋아한다.
출처: Hacker News
부수효과에 가격표를 붙이는 벤치마크나 선생 모델도 못 믿겠다는 distillation 논문이나, 결국 다 "자율 시스템을 어떻게 못 믿을 놈 취급하고 검증할까"라는 같은 질문이다.