🤖
1265 in / 3192 out / 4457 total tokens
이번 주 볼 게 하나 있다. 소니가 Xperia 1 XIII에 탑재한 AI Camera Assistant가 처참한 시연 영상으로 온라인에서 박살났다. 그래서 소니가 급히 해명에 나선 상황이다.
🔥 핫 토픽: 소니 AI 카메라 어시스턴트, "다양한 방식으로 처참하다"
소니가 보여준 AI의 민낯
소니가 최근 공개한 AI Camera Assistant 시연 영상이 커뮤니티에서 뜨끔한 반응을 받았다. 촬영 보조 기능이라고 내놓은 게 오히려 사용자 경험을 해치는 수준이었기 때문이다. 영상에서 AI는 사진의 구도를 잡아주고, 설정을 최적화해준다고 했지만 실제로는 부자연스러운 크롭과 부정확한 피사체 인식을 보여줬다. 소니는 이후 해명 글을 통해 "AI가 완전한 사진을 만들어주는 게 아니라 보조 역할"이라고 설명했지만, 이미 홍보 영상이 보여준 기대치와 실제 성능의 괴리가 너무 컸다.
이게 왜 중요하냐. 소니는 이미지 센서 시장에서 1위를 달리는 회사다. 카메라 기술력으로는 세계 최고 수준이라고 평가받는 곳이 자체 AI 파이프라인을 구축해서 내놓은 결과물이 이 정도라는 건, 하드웨어 기술력과 AI 소프트웨어 기술력은 완전히 다른 차원의 문제라는 걸 보여준다. 게임 개발에서도 비슷한 맥락이 있다. UE5로 엔진은 세팅해놨는데 AI NPC 행동 트리가 구리면 몰입이 깨지는 거랑 똑같다. 하드웨어·엔진은 훌륭한데 그 위에서 도는 로직이 미숙하면 유저는 "이건 뭐냐"라고 한다.
엣지 AI의 근본적 한계
소니의 사례는 온디바이스 AI의 현실적인 한계를 여실히 보여준다. 클라우드 기반 LLM처럼 대규모 컴퓨팅 자원을 활용할 수 없는 모바일 환경에서는 모델 크기와 추론 속도의 제약이 너무 크다. Claude 같은 클라우드 API를 쓰면 복잡한 시각 이해 태스크도 어느 정도 커버가 되지만, 스마트폰 내장 NPU만으로는 한계가 뻔하다. 소니가 아무리 이미지 처리에 도가 튼 회사라도, 경량화된 비전 모델을 모바일 칩셋 위에서 돌리는 건 완전히 다른 문제다.
개발자 관점에서 보면 이건 최적화 문제와 직결된다. 게임 개발할 때도 LOD 시스템이나 컬링 최적화 없이 무식하게 폴리곤을 밀어넣으면 프레임 드랍이 나는 거랑 같다. AI 모델도 파라미터 수를 줄이고 양자화를 적용하면 정확도가 떨어지고, 정확도를 유지하려면 모델이 무거워져서 실시간 처리가 안 된다. 이 트레이드오프를 어떻게 관리하느냐가 엣지 AI의 핵심인데, 소니는 아직 그 밸런스를 못 잡은 것으로 보인다.
소니의 해명이 시사하는 것
소니가 해명에서 강조한 건 "AI가 판단한 결과를 사용자가 수용할지 선택할 수 있다"는 점이었다. 즉, AI의 제안을 거부할 수 있다는 건데, 이건 사실 AI에 대한 신뢰가 부족하다는 걸 역설적으로 인정한 셈이다. AI가 진짜 유용하다면 사용자가 굳이 거부할 이유가 없다. Claude로 코드 리뷰할 때 제안이 계속 틀리면 결국 안 쓰게 되는 거랑 같다.
더 깊이 보면 이건 UX 설계의 근본적인 문제다. AI 기능을 켜고 끄는 토글만 있는 게 아니라, AI가 개입하는 정도를 사용자가 세밀하게 조절할 수 있어야 한다. 게임 세팅에서 그래픽 옵션을 로우·미디움·하이로 조절하듯, AI의 개입 수준도 단계별로 설정 가능해야 하는데 소니의 구현은 그런 세밀함이 부족했다.
경쟁 구도에서 소니의 위치
스마트폰 카메라 AI만 봐도 구글과 애플이 압도적이다. 구글의 Magic Eraser, Photo Unblur 같은 기능은 실제로 유용하고 사용자 경험이 자연스럽다. 애플의 Photonic Engine도 마찬가지다. 이 회사들은 소프트웨어·AI 역량을 오랜 기간 축적해왔다. 소니는 하드웨어 센서는 세계 최고지만, 그 센서가 만들어내는 데이터를 지능적으로 처리하는 소프트웨어 파이프라인은 경쟁사에 비해 한참 뒤처져 있다.
이건 비단 소니만의 문제가 아니다. 하드웨어에 강한 회사가 소프트웨어·AI로 전환하려다 삽질하는 건 산업 전반의 공통 패턴이다. 게임 업계에서도 엔진 기술력은 뛰어난데 네트워크·서버 인프라가 부실해서 론칭 초기에 마비되는 경우가 종종 있다. 강점을 다른 영역으로 확장하는 건 생각보다 어렵다.
🔍 관련 기술 배경: 비전 AI와 온디바이스 추론
비전 모델의 경량화
이 사건을 이해하려면 비전 AI 모델의 구조를 알아야 한다. YOLO, EfficientDet 같은 실시간 객체 탐지 모델은 정확도와 속도의 트레이드오프가 존재한다. 모바일에서 실시간 처리를 하려면 INT8 양자화나 프루닝으로 모델을 경량화해야 하는데, 이 과정에서 정확도 하락은 피할 수 없다. 소니의 AI 카메라 어시스턴트도 아마 이런 경량화된 비전 모델을 기반으로 했을 것이고, 그 한계가 시연 영상에서 고스란히 드러난 것이다.
멀티모달 AI의 진화와 격차
Claude 3.5 Sonnet 같은 최신 멀티모달 모델은 이미지를 입력받아 상세한 분석을 수행할 수 있다. 하지만 이건 클라우드에서 대규모 GPU 클러스터를 활용할 수 있기 때문이다. 같은 기능을 모바일 디바이스 위에서 오프라인으로 구현하려면 하드웨어 제약이 너무 크다. 이 격차가 당분간은 좁혀지지 않을 것이다. 클라우드 AI가 발전하는 속도보다 모바일 칩셋의 AI 연산 능력이 따라가는 속도가 느리기 때문이다.
💡 개발자를 위한 시사점
AI 기능 설계의 원칙
소니의 실패에서 배울 점이 많다. 첫째, AI 기능은 '있어 보여서' 넣는 게 아니라 실제 사용자 워크플로우에서 검증된 후에 넣어야 한다. 둘째, AI의 한계를 솔직하게 커뮤니케이션해야 한다. 과도한 기대를 심어놓고 실망을 주면 신뢰가 무너진다. 셋째, 온디바이스 AI를 구현할 때는 목표 성능을 현실적으로 설정해야 한다. 클라우드 API 수준의 품질을 기대하면 안 된다.
내 사이드 프로젝트에 적용할 것
나도 AI 기반 도구를 만들 때 이 점을 주의해야겠다. Claude API로 프로토타입을 빠르게 만들 수는 있지만, 실제 서비스 환경에서 레이턴시와 비용 문제를 고려하면 로컬 모델과 하이브리드로 가야 하는 경우가 많다. 그때 소니처럼 품질이 떨어지는 걸 사용자에게 강요하면 안 된다. AI의 제안이 불확실할 때는 그 불확실성을 명시적으로 보여주는 게 낫다.
출처: Sony tries to explain that its AI Camera Assistant doesn't suck - The Verge
소니가 보여준 건 AI의 기술적 한계가 아니라, 과도한 기대와 부실한 구현 사이의 갭을 메우지 못한 제품 기획의 실패다. 개발자는 이 갭을 인정하고 줄이는 데 집중해야 한다.