ai signal
AI 업데이트: llama.cpp MTP 베타와 ReDoS 방어
🤖 1281 in / 2521 out / 3802 total tokens
llama.cpp에 Multi-Token Prediction 지원이 베타로 들어왔다. 로컬 LLM 추론 속도에 체감할 수 있는 변화를 줄 수 있는 업데이트다.
🔥 핫 토픽
llama.cpp MTP 지원 베타 공개
Multi-Token Prediction(MTP)이 ll
이더3시간 전5 min read0llama.cppMTP로컬 LLM