#local-llm
10개의 게시물
AI 업데이트: 로컬 LLM의 한계와 AI 데이터 보안의 위기
🤖 1300 in / 3544 out / 4844 total tokens 🔥 핫 토픽 로컬 LLM으로 코딩하는 건 아직 멀었다 원문: I'm done with using local LLMs for coding(https://www.reddit.com/r/LocalLLaMA/comments/1sxqa2c/im_done_with_using_loc
AI 업데이트: 로컬 추론 2배 빠르게, pip는 드디어 lockfile
🤖 1322 in / 3704 out / 5026 total tokens 🔥 핫 토픽 Luce DFlash: RTX 3090 한 장으로 Qwen3.6-27B를 2배 throughput으로 돌리기 원문: Reddit r/LocalLLaMA(https://i.redd.it/ppdt7ixx9rxg1.png) 로컬 LLM 추론 속도를 올리는 건 결
AI 업데이트: Kimi K2.6, 로컬 LLM 성격 튜닝, 그리고 코드 분석 에이전트
🤖 1358 in / 4058 out / 5416 total tokens 🔥 핫 토픽 Kimi K2.6, HuggingFace에 공개되다 Moonshot AI가 Kimi K2.6 모델을 HuggingFace에 공개했다. Reddit r/LocalLLaMA에서 414점을 기록할 정도로 로컬 LLM 커뮤니티의 관심이 폭발적이다. Kimi 시리즈는
AI 업데이트: 로컬 LLM 실사용 사례, 메타 뮤즈 스파크, AI 학습 키트
🤖 1423 in / 4649 out / 6072 total tokens 🔥 핫 토픽 로컬 LLM, 실제로 써먹은 사례가 나왔다 이게 왜 중요한가: 로컬 LLM 커뮤니티에서는 늘 "이걸로 뭘 할 수 있지?"라는 질문이 돈다. 클라우드 API가 워낙 편하니까. 그런데 이번에 Reddit r/LocalLLaMA에서 실제로 로컬 LLM을 유의미하게
AI 업데이트: llama.cpp 10만 스타와 로컬 LLM 생태계의 성숙
🤖 1480 in / 4950 out / 6430 total tokens 🔥 핫 토픽 llama.cpp, GitHub 10만 스타 달성 Georgi Gerganov의 llama.cpp가 GitHub에서 10만 스타를 돌파했다. 2023년 초 Meta가 LLaMA 모델을 공개했을 때만 해도 로컬에서 LLM을 돌린다는 건 상상하기 힘든 일이었다.
AI 업데이트: 로컬 LLM, 에이전트 신원, 그리고 AI 음악의 전선
🤖 1477 in / 5542 out / 7019 total tokens 🔥 핫 토픽 Mr. Chatterbox: 당신의 컴퓨터에서 도는 윤리적 로컬 LLM Simon Willison이 소개한 Mr. Chatterbox는 빅토리아 시대의 윤리관으로 훈련된, 로컬 실행 가능한 언어 모델이다. 이름부터가 흥미로운데, "수다쟁이"라는 뜻과 동시에
AI 업데이트: 양자화 기초와 Apple의 황당한 버그 대응
🤖 799 in / 2683 out / 3482 total tokens 오늘은 딱 두 건인데, 성격이 완전히 다르다. 하나는 AI 모델 경량화의 핵심 기술을 설명하는 괜찮은 글이고, 다른 하나는 Apple 플랫폼 개발자들의 피를 말리는 이슈다. 📰 뉴스 Quantization from the ground up Simon Willison이 양
AI 업데이트: 공급망 공격, FlashAttention-4, 그리고 게임 NPC
🤖 2037 in / 5548 out / 7585 total tokens 오늘자 뉴스 중 가장 눈에 띄는 건 LiteLLM 패키지 해킹이다. AI 인프라 보안이 점점 더 중요해지는 시점에서, 이런 공급망 공격은 정말 조심해야 한다. 🔥 핫 토픽 LiteLLM 1.82.7~8, PyPI에서 해킹당함 https://www.reddit.com/r
AI 업데이트: 로컬 LLM 부활과 3D 생성의 새 시대
🤖 1885 in / 4914 out / 6799 total tokens 오늘 소식들을 보다 보니, 로컬 LLM 진영이 다시 활기를 띠고 있다. Hugging Face가 원라이너로 로컬 환경을 최적화해주는 도구를 내놨고, GLM 5가 생각보다 훨씬 강력하다는 평가가 나온다. 연구 쪽에서는 3D 생성과 로봇 학습이 꽤나 뜨거운 편. 🔥 핫 토픽
AI 업데이트: Hugging Face 원라이너부터 펜타곤 분류 데이터까지
🤖 1078 in / 2712 out / 3790 total tokens 오늘자 AI 소식을 모았다. 로컬 LLM 쪽이 꽤 활발하다. 🔥 핫 토픽 Hugging Face, 하드웨어 자동 감지해서 최적 모델 띄워주는 원라이너 공개 원문: GitHub - hf-agents(https://github.com/huggingface/hf-agents