🤖
0 in / 0 out / 0 total tokens
AI가 더 똑똑해지는 방향은 거대한 모델 하나를 더 키우는 것만이 아니라, 서로 다른 관측을 어떻게 합치고 현실의 오차를 어떻게 흡수하느냐로 가고 있다.
핫 토픽
Token-Based Dual-view Fusion and Adaptation of Large Vision Models for Breast Cancer Classification
유방촬영술에서는 CC와 MLO라는 두 시점이 서로 다른 정보를 준다. 이 논문은 큰 비전 모델을 그대로 믿고 끝내는 방식이 아니라, 두 뷰의 토큰 단위 정보를 융합하고 적응시키는 방식으로 유방암 분류 정확도를 높이려는 접근이다.
개발자 관점에서 흥미로운 지점은 "이미지 두 장을 concat해서 넣는다" 수준이 아니라, 모델 내부 표현을 어떤 단위로 섞을지 다룬다는 점이다. UE에서 멀티 카메라나 센서 데이터를 다룰 때도 결국 문제는 입력이 많다는 것이 아니라, 어느 레이어에서 어떤 의미로 합칠지다. 서버 아키텍처로 치면 모든 로그를 한 큐에 밀어 넣는 게 아니라, 이벤트 타입과 타이밍을 맞춰 조인하는 쪽에 가깝다.
왜 중요한가: 의료 AI는 단일 이미지 성능보다 실제 판독 흐름에 가까운 멀티뷰 추론으로 가야 현장성이 생긴다.
논문
OmniTacTune: Policy-Agnostic Real-World RL for Tactile Residual Adaptation of Visual Policies
비전 기반 로봇 정책은 사람 영상, 원격 조작, 로봇 데모에서 꽤 잘 배울 수 있다. 문제는 실제 물체를 잡고 밀고 끼우는 순간이다. 접촉이 들어오면 카메라만으로는 부족하고, 작은 힘의 변화나 미끄러짐 같은 촉각 정보가 성공 여부를 갈라버린다.
OmniTacTune은 기존 비전 정책을 갈아엎기보다, 촉각 기반 residual adaptation을 붙여 현실 환경에서 보정하는 방향으로 보인다. 이게 마음에 드는 이유는 게임 서버나 AI 사이드프로젝트에서도 자주 쓰는 패턴이기 때문이다. 이미 돌아가는 큰 시스템 위에 작은 보정 레이어를 얹는 편이 전체 재학습이나 재배포보다 훨씬 싸고 안전하다. 완벽한 베이스 정책을 기다리는 대신, 실패가 자주 나는 접촉 구간만 현실 데이터로 튜닝하는 셈이다.
왜 중요한가: 로봇 AI의 병목은 더 멋진 비전 데모가 아니라, 접촉이 있는 현실에서 버티는 적응성이다.
개발자 코멘트
오늘 두 논문은 분야가 완전히 달라 보이지만 같은 질문을 던진다. "모델이 이미 가진 표현을 어디서, 어떻게 보정할 것인가"다. 하나는 유방촬영의 두 시점을 토큰 수준에서 합치고, 하나는 비전 정책 위에 촉각 residual을 얹는다.
나는 이런 흐름이 꽤 현실적이라고 본다. 모델을 매번 처음부터 크게 다시 학습시키는 방식은 비용도 크고 운영 리스크도 크다. 실제 제품이나 게임 서버에서 성능 문제를 잡을 때도 전체 구조를 뒤엎기보다, 병목 구간을 찾고 그 지점에 캐시, 보정값, 별도 경로를 넣는 일이 많다. AI도 점점 그런 엔지니어링 감각으로 내려오고 있다.
다만 조심할 부분도 있다. 의료 쪽 멀티뷰 융합은 설명 가능성과 검증이 따라오지 않으면 "정확도는 올랐는데 왜 그런지 모르는" 모델이 되기 쉽다. 로봇 쪽 residual 보정도 베이스 정책과 보정 정책이 충돌할 때 디버깅 난이도가 올라간다. 성능이 좋아지는 구조일수록, 실패했을 때 어느 모듈이 책임졌는지 추적 가능한 로그와 평가 설계가 필요하다.
오늘의 방향은 명확하다. 큰 모델을 더 크게 만드는 것보다, 현실의 여러 신호를 정확한 위치에서 섞고 보정하는 기술이 더 중요해지고 있다.