🤖
1440 in / 6000 out / 7440 total tokens
오늘 볼 뉴스는 하드웨어의 물리 한계를 돌파하는 로컬 빌더의 기행, AI의 진짜 가치를 의심하는 비관론, 그리고 AI가 AI를 최적화하는 방법론까지 아우른다. UE5로 게임 깎고 틈나는 대로 AI 사이드 프로젝트 굴리는 입장에서 이 뉴스들은 단순한 텍스트가 아니라 당장 내 서버 비용과 개발 파이프라인에 직결된 문제들이다.
🔥 핫 토픽: 수돗물로 DGX 식히기
이 뉴스의 핵심은 바닥부터 터잡는 하드코어 로컬 LLM 빌더들의 저력을 보여준다는 거다. 엔비디아 DGX 같은 초고가 서버급 워크스테이션을 수돗물 직수 냉각으로 돌리는 미친 실험을 성공시켰다. 95%의 GPU 점유율로 Qwen3.5-122b-a10B라는 거대 모델을 Q6_K 정밀도로 돌리면서도 온도를 68도 이하로 묶어버렸다. 게임 개발하면서 발열 관리 때문에 골치 아팠던 내 입장에서 뼈 때리는 최적화 실력이다. 클라우드 API 찔러서 토큰 비용 내는 게 무서워서 이런 극단적인 오버클러킹과 수랭 쿨링에 올인하는 거다.
이게 왜 중요하냐면, 클라우드 의존도를 깎아내리는 '탈클라우드' 트렌드의 극단적인 예시이기 때문이다. 통제권과 비용 문제 때문에 개발자들이 로컬로 파인튜닝된 대규모 모델을 굴리려 한다. 게임 서버 아키텍처에서도 레이턴시를 줄이기 위해 엣지 컴퓨팅을 선호하는 것과 같은 맥락이다. MoE(Mixture of Experts) 아키텍처 기반인 Qwen 모델의 110GB VRAM 사용량과 80k 컨텍스트 윈도우를 18.77 t/s 속도로 로컬에서 뽑아낸다는 건, 굳이 비싼 API를 안 써도 충분히 프로덕션급 인퍼런스가 가능하다는 증거다. 4K 텍스처를 압축 없이 언리얼 엔진에 때려 넣는 것과 퀀타이제이션(Q6_K)으로 텍스처 퀄리티는 유지하면서 메모리는 절반으로 줄이는 것의 차이다. 앞으로 AI 에이전트를 게임 내 NPC에 탑재할 때, 이런 극한의 로컬 최적화 기술이 필수적인 기반이 될 것이다.
출처: Reddit r/LocalLLaMA - Found a way to cool the DGX
📰 뉴스: 다가올 AI 시장의 대폭락에 대한 경고
어제 회사용 GPT로 아주 단순한 스프레드시트 요약 작업을 시켜봤다는 한 유저의 경험담이 뼈아프다. AI가 그걸 처리하는 데 5분 걸렸고, 내가 직접 했으면 30분 걸렸을 거다. 6배 빠르긴 하지만, 현재 AI 서비스들은 엄청난 자본의 '보조금'에 의존해 값을 깎아파는 상태다. 이 유저의 지적은 명확하다. "언젠가 진짜 값치레를 해야 할 때가 오면, 이 보조금은 사라질 거고 엄청난 거품이 꺼질 것"이라고.
이 뉴스가 업계에 던지는 경고는 명확하다. 빅테크들이 시장 점유율을 뺏기지 않기 위해 빨아들이는 막대한 적자는 영원할 수 없다. 게임 개발에서도 서버 비용이나 엔진 라이선스 비용이 초기엔 저렴하다가 생태계가 묶이면(벤더 록인) 폭리를 취하는 패턴을 수없이 봤다. 개발자 입장에서 방심하면 안 되는 지점이다. 지금 API를 호출해서 몇 토큰_save하는 수준의 사이드 프로젝트는 위험하다. 비용 구조가 정상화되는 순간 마진율이 마이너스로 돌아버린다. 실무적으로 AI를 도입할 때는 단순히 '편해서' 쓰는 게 아니라, 진짜로 인건비 대비 연산비용 효율이 나오는지, 혹은 내가 직접 호스팅해서 운영비를 통제할 수 있는 로컬 모델(앞서 언급한 수랭 쿨링 DGX처럼)을 구축할 수 있는지 고민해야 한다. 토큰 이코노미가 무너지면 살아남지 못할 서비스들은 지금도 이미 죽은 목숨이다.
출처: Reddit r/artificial - My god there is an enormous crash just waiting to happen
📄 논문/블로그: Parameter Golf가 가르쳐준 AI 보조 연구
OpenAI가 주최한 Parameter Golf 대회는 흥미로운 패러다임을 보여준다. 골프라는 이름처럼 모수(Parameter)를 최소한으로 줄이면서도(적은 타수) 성능을 최대로 끌어올리는 제약 조건 하의 경기다. 1000명 이상의 참가자와 2000개의 제출물을 통해 코딩 에이전트, 양자화(Quantization), 그리고 참신한 모델 설계가 어떻게 결합하는지 분석했다. 무조건 모델을 크게 키우는 스케일업 시대에서, 제한된 자원 안에서 최적해를 찾아내는 알고리즘적 섬세함으로 패러다임이 넘어가고 있음을 보여준다.
이 흐름은 게임 최적화와 정확히 일치한다. 물리 엔진을 돌릴 때 CPU 오버헤드를 1% 줄이기 위해 어셈블리 수준에서 삽질하는 게 개발자의 일상이다. Parameter Golf에서 다룬 제약 기반 설계와 양자화는 모바일 게임이나 저사양 환경에서 AI를 구동해야 하는 우리에게 완벽한 해답을 제시한다. 특히 AI가 코딩과 모델 설계를 보조하는 에이전트로 쓰이고 있다는 점이 주목할 만하다. 이제 사람이 직접 레이어를 쌓고 파라미터를 튜닝하는 것보다, AI 에이전트에게 제약 조건(예: "10B 파라미터 이하로 생성" 또는 "레이턴시 10ms 이하")을 던져주고 아키텍처를 찾게 하는 방식이 연구의 주류가 되고 있다. 모르는 독자를 위해 설명하자면, 양자화는 실수형 데이터를 정수형으로 변환해 메모리와 연산량을 줄이는 기술이다. 앞서 언급한 '거품 붕괴'를 피하기 위해 비용을 줄이려면 이런 극단적인 최적화가 필수적이며, 그 최적화마저 이제는 AI가 대신하고 있다는 아이러니한 진화가 핵심이다.
출처: OpenAI Blog - What Parameter Golf taught us about AI-assisted research
클라우드의 거품이 꺼질 때를 대비해, 로컬 하드웨어의 물리적 한계를 뚫고 AI 스스로가 최적화하는 압축 알고리즘을 품어야만 살아남는다.