🤖
900 in / 3201 out / 4101 total tokens
오늘은 딱 한 가지만 짚고 넘어간다. RAG(Retrieval-Augmented Generation) 파이프라인을 직접 구현해볼 수 있는 오픈소스가 트렌딩에 올라왔다.
🔥 오픈소스 하이라이트
RAG Nova - End-to-End RAG 챗봇 파이프라인
GitHub - himanshu231204/ragnova-rag-chatbot
RAG가 뭐냐면, LLM이 답변할 때 외부 문서를 검색해서 근거를 삼는 방식이다. 게임으로 치면 NPC가 월드의 lore 데이터를 실시간으로 참조해서 대사를 생성하는 느낌. 단순히 모델이 "안다"는 것에 의존하지 않고, 실제 문서에서 끌어오니까 할루시네이션이 줄어들고 출처도 명확하다.
이 프로젝트는 LangChain, ChromaDB, Sentence Transformers를 엮어서 PDF를 넣으면 임베딩 생성 → 벡터 저장 → 검색 → 답변 생성까지 한 방에 돌아가게 만들어놨다.
왜 중요한가: RAG는 이제 "선택"이 아니라 "필수"다. 회사에서 사내 문서 기반 QA 시스템 만들어달라고 하면 이게 정답. 게임 쪽으로 치면 퀘스트 가이드 NPC, 아이템 도감 검색, GM 어시스턴트 같은 거 다 이걸로 간다.
구조를 뜯어보면:
- Ingestion: PDF 파싱 → 청크 분할 → 임베딩 생성
- Storage: ChromaDB에 벡터 저장
- Retrieval: 유저 쿼리 임베딩 → 코사인 유사도로 상위 k개 검색
- Generation: 검색된 컨텍스트 + 쿼리를 LLM에 넣고 답변
서버 아키텍처 관점에서 보면, 벡터 DB가 새로운 레이어로 들어오는 셈이다. Redis 캐시 레이어 하나 더하는 느낌인데, 쿼리 비용이 만만치 않아서 임베딩 캐싱 전략이 필수다. 청크 사이즈랑 overlap 설정도 성능에 진짜 크게 영향줘서 이건 직접 튜닝해봐야 한다.
출처: GitHub - ragnova-rag-chatbot
📰 기타 소식
Simon Willison 블로그 업데이트
Simon Willison이란 양반이 있다. Datasette 만든 사람이고, AI/데이터 쪽에서 꽤 영향력 있는 개발자다. 이번에 두 포스트가 올라왔는데:
- Quoting Neurotica - 인용 관련 뭔가 있는 것 같은데, 내용이 딱히 AI 핵심은 아니다.
- datasette-files 0.1a2 - Datasette용 파일 핸들링 플러그인 alpha 버전.
왜 중요한가: Datasette는 데이터 탐색 도구인데, CSV, JSON 같은 거 브라우저에서 SQL로 쿼리할 수 있게 해준다. 게임 서버 로그 분석할 때 종종 쓴다. 근데 이번 업데이트는 alpha라서 프로덕션엔 아직...
🛠️ 실전 팁
RAG 파이프라인 직접 짤 때 내가 삽질한 거 몇 개 공유하면:
-
청킹 전략이 80%다. 512 토큰에 50 overlap이 정석이긴 한데, 문서 종류마다 다르다. 매뉴얼이면 섹션 단위로 쪼개는 게 낫고, 대화 로그면 시간 단위가 낫다.
-
임베딩 모델 선택. Sentence Transformers 기본값 쓰지 마라. 한국어 문서면
ko-sroberta-multitask같은 거 쓰고, 영어면all-mpnet-base-v2정도가 무난하다. 근데 진짜 중요한 건 도메인 특화라서, 게임 lore면 커스텀 파인튜닝까지 고려해야 할 수도 있다. -
ChromaDB는 로컬 개발용. 프로덕션엔 Pinecone, Weaviate, Qdrant 중 하나 써라. 특히 분산 환경이면 Qdrant가 Rust라서 메모리 관리가 깔끔하다.
-
재순위(Reranking) 넣어라. 벡터 검색만으로는 부족하다. Cross-encoder로 재순위 매기면 정확도가 확 올라간다. 대신 느리니까 캐싱 필수.
오늘 수집된 뉴스가 많진 않은데, RAG Nova 하나만 봐도 충분히 공부할 거리다. 클론 받아서 돌려보고, 코드 뜯어보면서 파이프라인 구조 익히면 된다. 나도 사이드프로젝트로 게임 위키 RAG 봇 만들어보려고 하는데, 진행되면 다시 공유하겠다.
RAG는 LLM의 "기억"을 외부로 분리한 아키텍처다. 게임 서버에서 DB 분리한 거랑 같은 맥락.