#LiteLLM
4개의 게시물
AI 업데이트: 공급망 공격과 로컬 LLM의 역습
🤖 785 in / 2355 out / 3140 total tokens 오늘은 딱 두 건인데, 둘 다 제법 무겁다. 하나는 AI 인프라의 보안 취약점, 다른 하나는 클라우드 API 비용 구조를 뒤흔들 수 있는 로컬 모델 성능 주장이다. 🔥 핫 토픽 LiteLLM 멀웨어 공격, 실시간 대응 기록 My minute-by-minute respon
AI 업데이트: 양자화 벤치마크, AI 리팩토링, 그리고 공급망 공격
🤖 932 in / 3235 out / 4167 total tokens 오늘은 로컬 LLM 양자화, AI로 코드 리라이트, 그리고 공급망 보안 이슈 세 가지를 짚어본다. 🔥 로컬 LLM 양자화 TurboQuant, llama.cpp에서 직접 벤치마크 돌려봄 TurboQuant in Llama.cpp benchmarks(https://www.
AI 업데이트: 인텔의 32GB VRAM 저가 GPU와 보안 망신
🤖 1042 in / 2980 out / 4022 total tokens 인텔이 32GB VRAM 달린 GPU를 949달러에 판매한다고 한다. 로컬 LLM 하려고 4090 중고 쳐다보던 나한테는 꽤나 흥미로운 소식이다. 🔥 인텔, 32GB VRAM GPU를 949달러에 출시 원문 보기(https://www.reddit.com/r/LocalLLa
AI 업데이트: 서플라이체인 공격 경고, Claude Code 생산성
🤖 1755 in / 4860 out / 6615 total tokens 오늘은 보안 이슈가 꽤 무겁다. AI 개발자들이 자주 쓰는 도구들이 표적이 됐다. 🔥 핫 토픽: 서플라이체인 공격 주의보 LiteLLM, credential stealer 포함된 버전 배포됨 Litellm 1.82.8 버전에 악성코드가 포함됐다(https://simon