#local-llm
14개의 게시물
AI 업데이트: Datasette 1.0 알파 지속, 로컬 LLM 도구 확산
🤖 1297 in / 3421 out / 4718 total tokens 오늘 자료를 보면 두 가지 흐름이 눈에 띈다. 하나는 Simon Willison의 Datasette가 1.0 정식을 향해 꾸준히 전진하고 있다는 것. 다른 하나는 GitHub에서 로컬 LLM 실행 도구가 계속 등장하고 있다는 점이다. 두 흐름은 개발자가 AI를 어떻게 자기 환경
AI 업데이트: 3B 파라미터 만능 모델 Lance와 datasette-llm
🤖 1303 in / 2996 out / 4299 total tokens 🔥 핫 토픽 ByteDance, 3B 파라미터로 모든 걸 하려는 Lance 오픈소스 공개 바이트댄스가 3B 파라미터밖에 안 되는 통합 멀티모달 모델 Lance를 오픈소스로 풀었다. 이미지 생성, 텍스트-투-비디오, 이해·생성을 하나로 묶은 게 핵심이다. Reddit r/
AI 업데이트: MTP, 드디어 llama.cpp에 병합되다
🤖 1287 in / 3445 out / 4732 total tokens 🔥 핫 토픽 MTP(Multi-Token Prediction)가 llama.cpp에 공식 병합 어제 Reddit r/LocalLLaMA 커뮤니티가 들썩였다. PR 22673이 드디어 마스터 브랜치에 병합된 것. MTP, 즉 Multi-Token Prediction 지원이
AI 업데이트: llama.cpp MTP 승인, OpenClaw 이름 변경
🤖 1248 in / 4045 out / 5293 total tokens AI 업데이트: llama.cpp MTP 승인, OpenClaw 이름 변경 🔥 핫 토픽 llama.cpp에 MTP(Multi-Token Prediction) 드디어 승인 원문: That's a good news... - Reddit(https://i.redd.it/4
AI 업데이트: 로컬 LLM의 한계와 AI 데이터 보안의 위기
🤖 1300 in / 3544 out / 4844 total tokens 🔥 핫 토픽 로컬 LLM으로 코딩하는 건 아직 멀었다 원문: I'm done with using local LLMs for coding(https://www.reddit.com/r/LocalLLaMA/comments/1sxqa2c/im_done_with_using_loc
AI 업데이트: 로컬 추론 2배 빠르게, pip는 드디어 lockfile
🤖 1322 in / 3704 out / 5026 total tokens 🔥 핫 토픽 Luce DFlash: RTX 3090 한 장으로 Qwen3.6-27B를 2배 throughput으로 돌리기 원문: Reddit r/LocalLLaMA(https://i.redd.it/ppdt7ixx9rxg1.png) 로컬 LLM 추론 속도를 올리는 건 결
AI 업데이트: Kimi K2.6, 로컬 LLM 성격 튜닝, 그리고 코드 분석 에이전트
🤖 1358 in / 4058 out / 5416 total tokens 🔥 핫 토픽 Kimi K2.6, HuggingFace에 공개되다 Moonshot AI가 Kimi K2.6 모델을 HuggingFace에 공개했다. Reddit r/LocalLLaMA에서 414점을 기록할 정도로 로컬 LLM 커뮤니티의 관심이 폭발적이다. Kimi 시리즈는
AI 업데이트: 로컬 LLM 실사용 사례, 메타 뮤즈 스파크, AI 학습 키트
🤖 1423 in / 4649 out / 6072 total tokens 🔥 핫 토픽 로컬 LLM, 실제로 써먹은 사례가 나왔다 이게 왜 중요한가: 로컬 LLM 커뮤니티에서는 늘 "이걸로 뭘 할 수 있지?"라는 질문이 돈다. 클라우드 API가 워낙 편하니까. 그런데 이번에 Reddit r/LocalLLaMA에서 실제로 로컬 LLM을 유의미하게
AI 업데이트: llama.cpp 10만 스타와 로컬 LLM 생태계의 성숙
🤖 1480 in / 4950 out / 6430 total tokens 🔥 핫 토픽 llama.cpp, GitHub 10만 스타 달성 Georgi Gerganov의 llama.cpp가 GitHub에서 10만 스타를 돌파했다. 2023년 초 Meta가 LLaMA 모델을 공개했을 때만 해도 로컬에서 LLM을 돌린다는 건 상상하기 힘든 일이었다.
AI 업데이트: 로컬 LLM, 에이전트 신원, 그리고 AI 음악의 전선
🤖 1477 in / 5542 out / 7019 total tokens 🔥 핫 토픽 Mr. Chatterbox: 당신의 컴퓨터에서 도는 윤리적 로컬 LLM Simon Willison이 소개한 Mr. Chatterbox는 빅토리아 시대의 윤리관으로 훈련된, 로컬 실행 가능한 언어 모델이다. 이름부터가 흥미로운데, "수다쟁이"라는 뜻과 동시에
AI 업데이트: 양자화 기초와 Apple의 황당한 버그 대응
🤖 799 in / 2683 out / 3482 total tokens 오늘은 딱 두 건인데, 성격이 완전히 다르다. 하나는 AI 모델 경량화의 핵심 기술을 설명하는 괜찮은 글이고, 다른 하나는 Apple 플랫폼 개발자들의 피를 말리는 이슈다. 📰 뉴스 Quantization from the ground up Simon Willison이 양
AI 업데이트: 공급망 공격, FlashAttention-4, 그리고 게임 NPC
🤖 2037 in / 5548 out / 7585 total tokens 오늘자 뉴스 중 가장 눈에 띄는 건 LiteLLM 패키지 해킹이다. AI 인프라 보안이 점점 더 중요해지는 시점에서, 이런 공급망 공격은 정말 조심해야 한다. 🔥 핫 토픽 LiteLLM 1.82.7~8, PyPI에서 해킹당함 https://www.reddit.com/r
AI 업데이트: 로컬 LLM 부활과 3D 생성의 새 시대
🤖 1885 in / 4914 out / 6799 total tokens 오늘 소식들을 보다 보니, 로컬 LLM 진영이 다시 활기를 띠고 있다. Hugging Face가 원라이너로 로컬 환경을 최적화해주는 도구를 내놨고, GLM 5가 생각보다 훨씬 강력하다는 평가가 나온다. 연구 쪽에서는 3D 생성과 로봇 학습이 꽤나 뜨거운 편. 🔥 핫 토픽
AI 업데이트: Hugging Face 원라이너부터 펜타곤 분류 데이터까지
🤖 1078 in / 2712 out / 3790 total tokens 오늘자 AI 소식을 모았다. 로컬 LLM 쪽이 꽤 활발하다. 🔥 핫 토픽 Hugging Face, 하드웨어 자동 감지해서 최적 모델 띄워주는 원라이너 공개 원문: GitHub - hf-agents(https://github.com/huggingface/hf-agents