🤖
0 in / 0 out / 0 total tokens
LLM의 다음 병목은 더 큰 모델보다 신뢰할 수 있는 맥락 처리와 검증 가능한 자동화다.
📄 논문
ReSyn: A Generalized Recursive Regular Expression Synthesis Framework
정규식 합성은 생각보다 현업 냄새가 짙은 문제다. 로그 파싱, QA 필터, 데이터 클렌징처럼 게임 서버나 운영 도구에서도 정규식은 계속 등장하는데, 예제 몇 개로 복잡한 중첩 구조를 뽑아내는 일은 아직 꽤 불안정하다. ReSyn은 단순 벤치마크용 정규식이 아니라 현실적인 깊은 nesting과 구조적 복잡도를 겨냥한다는 점에서 의미가 있다.
왜 중요한지: PBE가 실제 운영 데이터 포맷을 더 잘 다루면, 반복적인 파서 작성과 로그 분석 자동화의 비용이 바로 줄어든다.
LegalHalluLens: Typed Hallucination Auditing and Calibrated Multi-Agent Debate for Trustworthy Legal AI
법률 AI에서 환각률이 평균 52%라는 숫자도 문제지만, 더 큰 문제는 어디서 어떤 방향으로 틀리는지 모르면 고칠 수 없다는 점이다. LegalHalluLens는 환각을 타입으로 나누고, 다중 에이전트 토론을 보정해서 신뢰성을 끌어올리려는 접근이다. 개발자 관점에서는 단순 accuracy 하나로 서비스 품질을 말하는 단계에서, 오류 taxonomy와 감사 가능한 pipeline으로 넘어가는 흐름으로 보인다.
왜 중요한지: 법률처럼 실패 비용이 큰 도메인에서는 답을 잘 맞히는 모델보다, 틀렸을 때의 패턴을 추적할 수 있는 시스템이 더 중요하다.
Configurable Clinical Information Extraction with Agentic RAG: What Works, What Breaks, and Why
임상 데이터는 RAG가 잘할 것처럼 보이지만 실제로는 문서 수가 많고, 구조화 데이터와 비정형 기록이 섞여 있으며, 검색에 필요한 메타데이터가 빠진 경우가 많다. 이 논문은 Agentic RAG로 configurable clinical information extraction을 다루면서 무엇이 동작하고 무엇이 깨지는지 분석한다. 나도 사이드프로젝트에서 RAG 붙일 때 검색기만 바꾸면 해결될 거라고 착각한 적이 있는데, 결국 품질은 메타데이터, triage, 실패 경로 설계에서 갈린다.
왜 중요한지: 의료 RAG의 핵심은 모델 호출 횟수가 아니라, 긴 환자 맥락에서 어떤 문서를 먼저 믿고 볼지 정하는 retrieval architecture다.
The Data Manifold under the Microscope
딥러닝 이론과 실전 사이의 간극은 여전히 크다. 일반화나 근사 오차 bound는 너무 단순한 모델을 가정하거나, 실제 시스템을 설명하기엔 너무 느슨한 경우가 많다. 이 논문은 data manifold를 더 세밀하게 들여다보며, 모델이 데이터 구조를 어떻게 잡아내는지 이해하려는 쪽에 가깝다.
왜 중요한지: 성능 최적화에서 profiler 없이 감으로만 병목을 잡을 수 없듯, 학습 데이터의 구조를 모르면 모델 개선도 결국 운에 기대게 된다.
Context-Aware RL for Agentic and Multimodal LLMs
긴 context 안에서 결정적인 한 줄을 놓치는 문제는 LLM 에이전트에서 자주 터진다. 툴 trace, 멀티모달 입력, 긴 문서 안의 작은 증거 하나가 답을 바꾸는데, 모델은 그걸 놓치고 그럴듯한 평균 답을 만든다. Context-Aware RL은 이런 상황에서 에이전트가 필요한 증거를 더 잘 찾도록 학습시키려는 방향이다.
왜 중요한지: 에이전트 성능은 말솜씨가 아니라 긴 실행 로그와 복잡한 context에서 decisive evidence를 찾는 능력으로 갈린다.
개발자 관점
오늘 나온 흐름은 하나로 묶인다. AI 시스템이 실서비스로 들어갈수록 핵심은 생성 능력 자체보다, 입력을 구조화하고, 근거를 찾고, 실패를 분류하고, 복잡한 context에서 판단을 유지하는 능력이다.
게임 서버도 비슷하다. TPS가 높아도 장애 원인을 추적할 로그 구조가 없으면 운영에서 무너진다. LLM 서비스도 마찬가지로, 모델이 강해질수록 주변 시스템의 관측 가능성, 데이터 구조, 검증 루프가 더 중요해진다.
이제 AI 업데이트의 키워드는 더 큰 모델이 아니라, 더 잘 실패하고 더 빨리 고칠 수 있는 시스템이다.