🤖
0 in / 0 out / 0 total tokens
Claude가 사용 패턴을 되돌아보게 만드는 기능과, MLLM에 촉각 감각을 정렬하려는 논문이 같이 나왔다. 하나는 AI를 쓰는 인간의 루프를 건드리고, 다른 하나는 AI가 현실 세계를 이해하는 센서 루프를 건드린다.
핫 토픽
Introducing a way to reflect on how you use Claude
Anthropic이 Claude를 어떻게 사용하고 있는지 돌아볼 수 있는 기능을 소개했다. 세부 기능을 직접 확인한 것은 아니지만, 제목만 봐도 방향은 꽤 분명하다. 단순히 더 빠른 답을 뽑는 도구가 아니라, 사용자가 AI와 어떤 식으로 사고를 위임하고 있는지 관찰하게 만드는 쪽이다.
개발자 입장에서 이건 은근히 중요하다. AI 코딩 도구를 쓰다 보면 생산성이 오른 것처럼 보이지만, 실제로는 디버깅 감각이나 설계 판단을 통째로 넘겨버리는 순간이 있다. UE5 C++에서도 마찬가지다. 빌드 에러 하나를 해결할 때 AI가 제안한 패치를 그대로 넣으면 당장은 통과해도, 나중에 GC, UObject 라이프사이클, 네트워크 리플리케이션 같은 곳에서 비용을 치른다.
그래서 사용 패턴을 돌아보는 기능은 단순한 웰빙 기능으로만 보면 아깝다. 팀 단위로 보면 AI 사용 로그는 코드 리뷰만큼이나 중요한 신호가 될 수 있다. 어떤 모듈에서 AI 의존도가 높았는지, 어떤 종류의 질문이 반복되는지 보면 문서 부채나 아키텍처 부채가 드러난다. 서버 아키텍처에서도 장애 리포트보다 쿼리 패턴이 더 많은 걸 말해줄 때가 있는데, AI 사용 패턴도 비슷한 관측 포인트가 될 수 있다.
왜 중요한지: AI 생산성의 다음 병목은 모델 성능만이 아니라, 사람이 AI에 무엇을 얼마나 넘기고 있는지 측정하는 문제다.
출처: Anthropic News
논문
Wake up for Touch! Mask-isolated Tactile Alignment Learning in MLLMs
이 논문은 멀티모달 대형 언어 모델이 촉각 정보를 더 잘 다루도록 정렬하는 문제를 다룬다. 제공된 요약에 따르면 촉각은 마찰, 순응성 같은 물리적 재질 속성을 이해하는 데 필요한 grounding을 제공한다. 시각만으로는 재질의 미끄러움이나 눌림 정도를 안정적으로 알기 어렵다는 문제의식이다.
나는 이 방향이 꽤 현실적이라고 본다. 게임 개발에서는 물체의 재질을 시각적으로만 표현하지 않는다. 머티리얼, 피직스 머티리얼, 충돌 응답, 사운드, 햅틱 피드백이 같이 맞아야 플레이어가 "이건 금속이다", "이건 젖은 표면이다"라고 믿는다. AI도 비슷하다. 이미지 캡션을 잘 단다고 해서 물리 세계를 이해하는 건 아니다. 접촉했을 때 밀리는지, 휘는지, 미끄러지는지까지 들어와야 실제 로봇이나 시뮬레이션 에이전트에서 쓸 수 있다.
Mask-isolated tactile alignment라는 표현도 흥미롭다. 이름만 놓고 보면 촉각 관련 신호를 다른 모달리티와 무작정 섞지 않고, 마스크로 분리된 영역에서 정렬 학습을 시도하는 접근으로 읽힌다. 멀티모달 모델은 모달리티가 늘어날수록 정보가 풍부해지는 동시에 노이즈도 커진다. 게임 서버에서도 모든 상태를 매 프레임 전부 동기화하지 않고, 관심 영역과 우선순위를 나눠 보내는 이유가 있다. 촉각 정렬도 결국 어떤 신호를 어디에 붙일지의 문제다.
왜 중요한지: 로봇, 시뮬레이션, 디지털 트윈 쪽 AI는 화면을 보는 능력보다 물리 속성을 추론하는 능력에서 실제 쓸모가 갈린다.
개발자 코멘트
오늘 두 소식은 겉으로는 완전히 다르다. 하나는 Claude 사용 경험이고, 하나는 촉각 멀티모달 논문이다. 그런데 둘 다 "관측되지 않던 것"을 모델링하려는 시도라는 점에서는 이어져 있다. Anthropic 쪽은 사용자의 AI 사용 습관을 관측하려 하고, 촉각 논문은 시각 모델이 놓치던 물리 감각을 관측하려 한다.
AI 사이드프로젝트를 만들 때도 이 관점이 꽤 실용적이다. 모델을 붙이는 것보다 먼저 봐야 할 건 관측 가능한 신호다. 사용자가 어디서 막히는지, 어떤 입력이 실패를 부르는지, 모델이 어떤 물리적 또는 업무적 맥락을 못 보는지 알아야 한다. 성능 최적화도 결국 프로파일링 없이는 감으로 때우는 일이 된다. AI 제품도 마찬가지다.
좋은 AI 시스템은 더 큰 모델을 붙이는 것보다, 무엇을 관측해야 하는지 먼저 정하는 쪽에서 갈린다.