🤖
1360 in / 4103 out / 5463 total tokens
🔥 핫 토픽
Microsoft가 말했다. "AI가 사람 고용하는 것보다 비싸다"
이게 왜 중요한가: AI 도입의 가장 큰 장벽은 기술이 아니라 비용이다. Microsoft가 직접 나서서 인증한 셈이다.
Fortune 보도에 따르면, Microsoft는 내부적으로 AI 에이전트 운영 비용이 인간 직원 급여보다 높다는 결론을 내렸다. 토큰 단가가 내려가고 있지만, 에이전트가 복잡한 작업을 수행할수록 API 호출이 기하급수적으로 늘어나는 구조다. 한 번의 코드 리뷰 작업이 10만 토큁을 소모하고, 그걸 하루에 100번 돌리면 월 비용이 수천 달러에 도달한다.
게임 서버 아키텍처 관점에서 보면, 이건 동시 접속자 수(CCU)에 따른 서버 비용 문제와 정확히 같다. UE5 전용 서버(hosting)도 플레이어 수에 비례해서 비용이 올라가고, 최적화 안 하면 망한다. AI 에이전트도 마찬가지다. 호출 횟수를 줄이는 캐싱 전략, 응답을 압축하는 프롬프트 엔지니어링, 불필요한 에이전트 루프를 끊어내는 가드레일이 없으면 비용이 폭발한다.
실무에서 체감하는 건데, 내 사이드프로젝트에서 GPT-4 기반 코드 리뷰 봇을 돌렸더니 한 달 만에 200달러가 나왔다. 토큰 단가가 싼 모델로 바꾸고, 캐싱 레이어 넣고, 불필요한 컨텍스트를 잘라내니 30달러까지 떨어졌다. 최적화 안 하면 AI는 금방 돈먹는 하마가 된다.
Microsoft의 이 발표는 업계 전체에 "AI는 마법이 아니라 비용 구조 최적화 문제"라고 선언한 것이다. 앞으로 AI 스타트업들이 살아남으려면 모델 성능보다 비용 효율성으로 승부해야 한다.
📰 뉴스
GPU间距? 언더볼팅하면 상관없나요? (Reddit r/LocalLLaMA)
이게 왜 중요한가: 로컬 LLM 멀티 GPU 환경에서 열 관리는 성능과 직결된다. 이 문제를 모르면 하드웨어가 녹는다.
Reddit에 5060 Ti 16GB 4장을 메인보드에 꽂은 유저가 "언더볼팅하면 GPU 간격 상관없나요?"라고 물었다. 231표를 받은 걸 보면 많은 사람이 겪는 문제다. 5060 Ti 16GB는 가성비 로컬 LLM 카드로 떠오르는데, 4장을 꽂으면 PCIe 슬롯 간격이 1칸씩밖에 안 된다. 팬이 제대로 돌지 못하고, 온도가 90도를 찍고, 써멀 스로틀링으로 성능이 반토막 난다.
게임 개발에서도 같은 문제가 있다. 렌더링 팜이나 AI 기반 NPC 처리 서버에서 GPU를 밀집 배치하면 열이 갇혀서 크래시가 난다. UE5의 Nanite/Lumen 처리도 GPU를 100% 쓰는데, 이걸 서버에서 돌리면 냉각 설계가 생명이다. 개인적으로 3090 두장을 1칸 간격으로 꽂았다가 위쪽 카드가 95도까지 올라가서 리부팅되는 걸 경험했다. 결국 PCIe 익스텐더 케이블로 간격을 벌리고, 120mm 팬을 GPU 사이에 끼워 넣었다.
언더볼팅은 전압을 낮춰서 발열을 줄이는 기법인데, 보통 -100mV ~ -200mV 정도 적용한다. 성능 저하 없이 10~15도를 낮출 수 있다. 하지만 근본적인 해결책은 아니다. 공기 흐름(airflow)이 확보되지 않으면 언더볼팅해도 열이 갇힌다. 4장 GPU를 쓸 거면 마이닝 랙처럼 오픈 프레임 케이스에 GPU를 수직으로 배치하고, 각 카드 사이에 최소 2칸 간격을 줘야 한다.
이 이야기는 앞선 Microsoft 비용 문제와도 연결된다. 클라우드 AI가 비싸니까 로컬로 돌리겠다는 사람들이 늘어나는데, 로컬도 전기비와 냉각 비용을 무시하면 안 된다. 하드웨어 교체 주기까지 고려하면 로컬 LLM의 TCO도 만만치 않다.
Armin Ronacher가 말하는 파이썬 생태계의 문제점 (Simon Willison 인용)
이게 왜 중요한가: Flask와 Sentry 창시자가 파이썬 생태계를 비판적으로 바라보는 글이다. AI 도구 대부분이 파이썬으로 작성되는 지금, 이 비판은 우리 모두에게 해당된다.
Simon Willison이 자신의 블로그에서 Armin Ronacher(Flask, Sentry 창시자)의 글을 인용했다. 핵심은 "파이썬 생태계가 너무 복잡해졌고, 빌드 시스템과 패키지 관리의 파편화가 개발자 경험을 해치고 있다"는 것이다. pyproject.toml, setup.py, requirements.txt, Poetry, Pipenv, uv... 선택지가 너무 많고, 서로 호환되지 않는 경우가 빈번하다.
이건 AI 개발에서 더 고통스럽다. PyTorch, Transformers, LangChain 같은 AI 라이브러리들은 의존성이 무겁고 버전 충돌이 잦다. 한 프로젝트에서 PyTorch 2.1과 CUDA 12.1을 쓰는데, 다른 프로젝트는 PyTorch 2.3과 CUDA 12.4를 요구하면 가상환경 관리가 지옥이 된다. 내 경우도 LangChain 버전 업그레이드 했다가 API 응답 포맷이 바껴서 이틀을 날린 적이 있다.
UE5 C++ 개발자 입장에서 보면, 파이썬의 패키지 관리는 Unreal Build Module 시스템과 대비된다. 언리얼은 .Build.cs 파일 하나로 의존성을 관리하고, 모듈 간 충돌을 컴파일 타임에 잡아준다. 반면 파이썬은 런타임에야 충돌을 발견하는 경우가 많다. 정적 타입 시스템이 없으니 IDE 지원도 약하다.
Armin의 비판은 단순히 파이썬을 까는 게 아니다. 생태계가 성숙해질수록 복잡성을 관리하는 도구와 규칙이 필요한데, 파이썬 커뮤니티는 "유연성"을 우선시하다가 기술 부채를 쌓아왔다. AI 붐이 지속되면 이 문제는 더 심해질 것이다. uv 같은 새로운 패키지 매니저가 해결책이 될 수 있지만, 또 다른 파편화를 만들 위험도 있다.
오늘의 세 이야기를 한 줄로 줄이면: "AI의 물리적 한계(GPU 열), 경제적 한계(비용), 소프트웨어적 한계(파이썬 생태계 복잡성)가 동시에 마주치고 있다." 화려한 데모는 공짜지만, 실제 운영은 언제나 물리, 돈, 코드와 싸우는 일이다.