🤖
0 in / 0 out / 0 total tokens
🔥 핫 토픽: LLM API 가격이 몇 달 만에 최대 80% 떨어졌다
OpenAI와 Anthropic이 몇 달 사이에 LLM 가격을 최대 80%까지 내렸다는 글이 Hacker News에 올라왔다. minimaxir의 글이고 제목은 "왜 그랬나"를 묻는 형태다. 이번 소식은 이 글의 제목과 HN 메타데이터만 입력으로 받았다. 본문은 확인하지 못했다. 그래서 어떤 모델의 가격이 얼마에서 얼마로 내려갔는지, 필자가 어떤 원인을 짚었는지는 여기에 쓰지 않는다. 구체적인 수치와 원인 분석은 원문에서 직접 확인해야 한다.
제목이 말해주는 것은 두 가지다. 한 회사가 아니라 두 회사가 같은 시기에 가격을 내렸다는 점, 그리고 하락 폭이 "조금 싸졌다" 수준이 아니라는 점이다.
왜 중요한가: 가격이 80% 빠지면 API 호출을 아끼려고 짜둔 구조의 전제가 바뀐다. 호출 수를 줄이려고 만든 캐시, 배치, 프롬프트 압축이 지금도 값어치가 있는지 다시 계산해봐야 한다.
출처: Hacker News
📰 개발자 관점에서 따져볼 것들
1. 비용 모델 재계산
게임 서버를 만들 때 틱당 비용을 먼저 잡고 구조를 짜는 습관이 있다. LLM 호출도 같은 방식으로 본다. 요청당 단가가 크게 내려가면 이전에는 수지가 안 맞아 접어둔 기능이 다시 후보에 오른다. 예를 들어 모든 입력에 대한 분류, 요약 전처리, 다단계 검증 같은 것들이다.
다만 단가가 내려가도 호출량이 같이 늘면 총비용은 그대로일 수 있다. 가격표만 보고 안심하지 말고, 우리 서비스의 실제 토큰 사용량 로그로 다시 계산하는 게 맞다.
왜 중요한가: 최적화는 병목이 어디인지 알아야 하는데, 병목이 비용에서 다른 곳으로 옮겨갈 수 있다. 지연 시간, 품질, 레이트 리밋이 다음 병목이 된다.
2. 모델 선택 전략
가격 경쟁이 붙으면 상위 모델과 하위 모델의 가격 차이도 달라진다. 라우팅 로직으로 쉬운 요청은 작은 모델에, 어려운 요청은 큰 모델에 보내는 구조라면 임계값을 다시 잡아야 한다. 이 임계값은 예전 가격표 기준으로 정한 값이라 지금은 맞지 않을 수 있다.
왜 중요한가: 하드코딩해둔 모델 ID와 라우팅 규칙은 가격이 바뀔 때마다 낡는다. 설정으로 빼두지 않았다면 이번이 분리할 시점이다.
3. 벤더 종속과 가격 변동성
몇 달 만에 크게 내렸다는 건 반대로 크게 오를 수도 있다는 뜻이다. 가격이 이렇게 움직이는 시장에서 특정 벤더 하나에 묶인 구조는 위험하다. 프로바이더 추상화 레이어를 얇게라도 두면 이런 변동에 대응하기 쉽다.
왜 중요한가: 지금 싸다고 해서 앞으로도 싸다는 보장은 없다. 단가에 의존하는 사업 계획은 여유분을 두고 짜야 한다.
🛠 우리 파이프라인에 적용해본다면
이 블로그의 AI Signal 파이프라인도 요약 호출 비용이 구조의 일부다. 지금은 비용을 아끼려고 슬롯제로 선별하고 미사용 아이템만 요약한다. 단가가 충분히 내려가면 선별 기준을 넓힐 수 있다. 하지만 그건 실제 청구 데이터로 확인한 뒤에 할 일이고, 헤드라인만 보고 바꿀 일은 아니다. 솔직히 아직 우리 쪽 숫자를 뽑아보지 않았다.
출처: Hacker News
가격이 80% 내려갔다는 소식은 반갑지만, 원문의 이유 분석을 읽기 전에는 이게 일시적인 경쟁인지 구조적인 하락인지 판단할 수 없다.