LLM Wiki: RAG의 한계를 넘어선 '영속적 지식 베이스'의 등장

한 줄 요약

단순 검색(RAG)의 비효율성을 개선하고, LLM이 문서를 분석해 영속적인 위키 구조와 지식 그래프로 자동 변환하는 오픈소스 데스크톱 앱 'LLM Wiki'의 작동 원리와 의료/교육 분야에서의 시사점을 분석한다.

원문 핵심 내용

RAG의 구조적 한계와 '영속성'의 도입

기존의 RAG(Retrieval-Augmented Generation, 검색 증강 생성) 방식은 사용자가 질문할 때마다 원본 문서에서 청크(chunk) 단위로 정보를 찾아 답변을 생성합니다. 이는 마치 매번 도서관에 가서 책을 꺼내 읽어주는 것과 같아, 동일한 자료에 대해 반복적인 추론이 일어나 토큰 비용과 시간이 낭비됩니다. 또한, 단편적인 청크 기반 응답이라 문서 간의 관계나 모순, 지식의 공백을 파악하기 어렵습니다.

LLM Wiki는 Andrej Karpathy가 제안한 'LLM이 위키를 점진적으로 구축하고 유지보수하는 패턴'을 실제 애플리케이션으로 구현한 것입니다. 핵심 차이는 '일회성 검색'에서 '영속적 저장(Persistence)'으로의 전환입니다. LLM이 한 번 분석한 결과는 위키 페이지라는 형태로 고정되고, 새 자료가 들어올 때만 이를 업데이트합니다. 즉, 사용자가 매번 처음부터 검색하는 것이 아니라, 시간이 지날수록 풍부해지는 '내부화 된 지식 베이스'와 대화하게 됩니다.

두 단계 사고 사슬(Two-Step Chain-of-Thought) 인제스트

LLM Wiki의 가장 혁신적인 부분은 문서 처리(인제스트) 방식입니다. Karpathy의 원안처럼 읽고 쓰는 것을 동시에 하는 대신, '이해(Analysis)'와 '생성(Generation)'을 분리한 두 단계 프로세스를 사용합니다.

1. Step 1 (분석): LLM이 문서를 읽고 핵심 엔티티(사람, 조직), 개념, 주장, 기존 위키와의 연결고리 및 모순점을 구조화된 데이터로 출력합니다. 이때는 자유롭게 사고하며 맥락을 파악하는 데 집중합니다.
2. Step 2 (생성): Step 1의 분석 결과만을 입력받아, YAML 프런트매터가 포함된 위키 페이지, 엔티티/개념 페이지, 인덱스, 로그 등을 실제 파일로 작성합니다.

이러한 분리는 각 단계의 품질을 높입니다. 예를 들어, 복잡한 의학 논문을 처리할 때 첫 단계에서는 '이 논문이 기존 치료법과 어떤 상충점을 가지는지'를 깊이 있게 분석하고, 두 번째 단계에서는 그 분석 결과를 깔끔한 위키 형식으로 정리합니다. 또한, SHA256 해시를 이용해 변경되지 않은 파일은 재분석을 건너뛰어 효율성을 극대화합니다.

4 신호 관련도 모델과 지식 그래프 시각화

단순한 텍스트 링크를 넘어, LLM Wiki는 페이지 간의 관련도를 정량화하는 4 신호 관련도 모델(4-Signal Relevance Model)을 사용합니다.

• 직접 링크(Direct link): [[wikilinks]]로 직접 연결된 페이지 (가중치 3.0)
• 자료 중복(Source overlap): 동일한 원본 자료를 공유하는 페이지 (가중치 4.0)
• Adamic-Adar: 공통 이웃을 공유하는 페이지 (가중치 1.5)
• 타입 친화도(Type affinity): 같은 타입(예: 개념↔개념)인 페이지 간 보너스 (가중치 1.0)

이 알고리즘은 Louvain 커뮤니티 탐지와 결합하여 자연스러운 지식 클러스터를 찾아냅니다. 예를 들어, '소화기 질환' 관련 페이지들이 자동으로 하나의 클러스터를 형성하고, 이 클러스터 내부의 응집도(Cohesion)가 낮으면(0.15 미만) 해당 영역이 지식적으로 부족하거나 연결이 약함을 경고합니다. 이를 통해 사용자는 단순히 키워드 검색을 넘어, 지식의 '구조적 공백(Knowledge Gaps)'을 시각적으로 파악할 수 있습니다.

purpose.md: 위키의 '의도'를 정의하는 메타데이터

기존 위키와 달리 LLM Wiki는 purpose.md라는 파일을 도입했습니다. 스키마(schema)가 구조를 정의한다면, purpose.md는 '이 위키가 왜 존재하는가'를 정의합니다.

예를 들어, 동일한 '에너지 산업 보고서'를 입력하더라도, purpose.md가 "재생에너지 투자 전략 수립"으로 설정되어 있으면 LLM은 투자 리스크와 수익성 관련 엔티티를 강조합니다. 반면 "개인 학습 노트"로 설정되면 기본 개념과 역사적 배경을 더 상세하게 추출합니다. LLM은 매번 이 파일을 참조하여 사용자의 의도에 맞춰 지식을 필터링하고 강조하며, 누적된 사용 패턴에 따라 purpose.md의 업데이트를 제안하기도 합니다.

새로운 시각

'지식의 소화' 과정으로서의 LLM Wiki

의료인으로서 우리는 '음식(원문)'을 섭취한 후 위장관(소화기)에서 분해·흡수하여 체내 영양분(지식)으로 저장하는 과정을 알고 있습니다. 기존의 RAG는 음식을 매번 씹어 삼키는 것과 같다면, LLM Wiki는 소화되어 혈액 속으로 돌고 있는 영양소와 같습니다.

LLM Wiki의 '두 단계 인제스트'는 생물학적 소화 과정과 유사합니다. Step 1은 효소 분비로 대분자를 분해하는 과정(분석)이고, Step 2는 흡수된 영양소를 세포 구조로 재구성하는 과정(생성)입니다. 이 관점에서 LLM Wiki는 단순한 정보 저장소가 아니라, 사용자의 인지 부하를 줄여주는 '외부화된 소화 기관'입니다. 특히 의료처럼 방대하고 복잡한 정보가 실시간으로 업데이트되는 분야에서는, 매번 원문을 읽는 것보다 '이미 소화된 지식 그래프'를 통해 진단적 추론을 지원하는 것이 훨씬 효율적입니다.

'모순 탐지'를 통한 의사결정 지원 시스템

LLM Wiki의 핵심 기능 중 하나는 기존 위키와의 '모순(Contradiction)'을 분석하는 것입니다. 이는 단순한 정보 정리를 넘어 비판적 사고(Critical Thinking)의 자동화로 볼 수 있습니다.

의학적 맥락에서 이는 매우 중요합니다. 새로운 임상 시험 결과가 기존 가이드라인과 충돌할 때, LLM Wiki는 이를 자동으로 플래그 처리하고 사용자에게 제시합니다. 이는 의사가 모든 문헌을 직접 비교 검토하는 부담을 덜어주며, '증거 기반 의학(Evidence-Based Medicine)'의 실천을 돕는 도구로 진화할 수 있습니다. 즉, LLM Wiki는 '정보의 수집자'가 아니라 '정보의 검증자'로서의 역할을 수행할 잠재력을 가집니다.

지식 그래프의 '희박한 커뮤니티'와 학습의 방향성

Louvain 알고리즘이 찾아내는 '희박한 커뮤니티(Sparse communities)'는 학습자에게 중요한 신호입니다. 이는 해당 주제에 대한 지식이 존재하지만 연결이 약하거나, 아예 공백이 있음을 의미합니다.

교육적 관점에서 이는 '다음에 무엇을 배워야 하는지'를 데이터 기반으로 제시해 줍니다. 예를 들어, '위암' 클러스터는 밀도가 높지만 '식도암' 클러스터는 희박하다면, 학습자는 식도암 관련 지식을 보충해야 함을 직관적으로 알 수 있습니다. 이는 수동적인 학습에서 능동적인 '지식 격차 메우기(Gap-filling)' 학습으로 전환하는 계기가 됩니다.

자녀와 미래에 대한 시사점

① 다음세대의 지식 관리: '검색'에서 '통합'으로

미래의 교육과 업무 환경에서는 방대한 정보를 '찾는 능력'보다, 찾은 정보를 '자신의 지식 체계에 통합하는 능력'이 더 중요해질 것입니다. LLM Wiki와 같은 도구는 학생들이 수동적으로 노트를 필기하는 대신, LLM이 핵심 개념을 추출하고 연결하는 과정을 관찰하며 지식의 구조화 방법을 학습하게 합니다. 자녀들에게 단순히 정답을 찾는 법이 아니라, '내 머릿속(또는 디지털 뇌)의 위키'를 어떻게 설계하고 유지할지 가르치는 것이 필수적입니다.

② 교육적 함의: 목적 지향적 학습(purpose-driven learning)

LLM Wiki의 purpose.md 개념은 교육에도 적용 가능합니다. 자녀가 어떤 주제(예: 기후 변화)를 학습할 때, 단순히 사실만 외우게 하는 것이 아니라 "이 학습의 목적은 무엇인가?"(예: 환경 정책 제안 vs. 과학적 원리 이해)를 먼저 정의하게 합니다. 목적에 따라 동일한 자료라도 다른 관점에서 분석되고 정리되므로, 맥락에 따른 유연한 사고력을 기를 수 있습니다. 이는 표준화된 시험 중심 교육에서 벗어나, 문제 해결 중심의 학습으로 전환하는 데 도움이 됩니다.

③ 의료 분야에서의 적용: 개인화된 임상 지식 베이스

저와 같은 의료 종사자에게 LLM Wiki는 개인화된 임상 결정 지원 시스템이 될 수 있습니다. 환자의 병력, 최신 의학 논문, 가이드라인 등을 하나의 위키로 통합하고, 특정 환자 사례에 맞춰 purpose.md를 설정(예: "이 환자의 수술 적합성 평가")하면, LLM이 관련 정보를 필터링하고 모순점을 경고해 줍니다. 특히 내시경 소견과 병리 결과, 영상 자료를 텍스트화하여 위키에 등록하면, 복잡한 환자 정보를 한눈에 구조화하여 진단의 정확성과 효율성을 높일 수 있습니다. 다만, 의료 데이터의 프라이버시 보호를 위해 로컬 환경(Ollama 등)에서 실행되는 오픈소스 도구인 점이 큰 장점이 됩니다.

---

Codex 보강 분석 (2026-06-18)

원출처 검증

이 보강 분석은 PyTorchKR 글, nashsu/llm_wiki GitHub 저장소, Karpathy의 원래 llm-wiki.md gist를 대조해 작성했습니다. PyTorchKR 글은 저장소 README와 Karpathy 원안을 대체로 충실히 풀어쓴 글입니다. 다만 저장소 메타데이터에서 GitHub API의 라이선스 자동 판정은 NOASSERTION으로 나오므로, 라이선스는 API 값이 아니라 LICENSE 파일 원문 기준으로 GPL-3.0으로 확인하는 편이 정확합니다.

PyTorchKR 게시글 자체는 댓글이 없었습니다. Hacker News Algolia에서 nashsu/llm_wiki, github.com/nashsu/llm_wiki, "LLM Wiki" Karpathy로 검색했지만 HN 스레드도 확인되지 않았습니다. 따라서 커뮤니티 반응 수치는 만들지 않습니다.

💡 Hacker News Algolia API는 Hacker News 글과 댓글을 검색하는 데 널리 쓰이는 검색 API입니다. 제목, URL, 저장소명, 댓글 본문까지 찾을 수 있어 HN 반응 유무를 확인할 때 원 사이트 검색보다 실용적입니다.

기존 분석에 추가해야 할 핵심 내용

기존 노트는 RAG의 한계, 두 단계 인제스트, 4 신호 지식 그래프, purpose.md, 의료·교육 적용을 잘 짚었습니다. 여기에 추가로 중요한 점은 세 가지입니다.

첫째, LLM Wiki의 진짜 차이는 "RAG 대 위키"보다 실행 시 추론 대 사전 컴파일입니다. RAG는 질문이 들어올 때마다 관련 원문을 다시 찾고 추론합니다. LLM Wiki는 원문을 읽는 시점에 지식을 Markdown 위키로 미리 컴파일해 둡니다. 이 차이는 소프트웨어의 JIT 해석과 AOT 컴파일 차이에 가깝습니다.

💡 JIT/AOT는 프로그램 실행 방식의 비유입니다. JIT(Just-In-Time)는 실행 순간에 해석·컴파일하고, AOT(Ahead-Of-Time)는 실행 전에 미리 컴파일합니다.

둘째, purpose.md는 단순 프롬프트가 아니라 지식 베이스의 헌법입니다. 일회성 지시가 아니라 모든 인제스트, 질의, 그래프 해석에 반복적으로 영향을 주는 상위 규칙입니다. 선생님 vault의 AGENTS.md, SCHEMA.md, wikis/notes/SCHEMA.md도 이미 같은 역할을 하고 있습니다.

셋째, 지식 그래프의 핵심 가치는 "답 찾기"보다 모르는 곳 찾기입니다. 검색 도구는 이미 많지만, 고립 페이지, 희박한 커뮤니티, 의외의 연결을 보여주는 기능은 다음에 무엇을 읽고 연구할지 정하는 데 더 큰 가치가 있습니다.

약점과 한계

LLM Wiki의 가장 큰 위험은 오류의 영속화입니다. RAG의 오류는 한 번의 답변에서 끝날 수 있지만, LLM Wiki의 오류는 위키 페이지, 링크, index, overview, graph insight로 확산될 수 있습니다. 영속성은 장점이지만 잘못된 요약도 영속화한다는 뜻입니다.

두 단계 인제스트도 만능은 아닙니다. Step 1에서 잘못된 구조 분석이 나오면 Step 2는 그 오류를 더 그럴듯한 Markdown 파일로 고정합니다. 따라서 두 단계 구조는 품질 향상 장치이지 검증 장치가 아닙니다.

purpose.md는 강력하지만 편향 장치이기도 합니다. 목적을 분명히 하면 관련 정보를 잘 뽑아내지만, 목적 밖의 중요한 신호를 약하게 만들 수 있습니다. 예를 들어 "투자 전략" 목적의 위키는 안전성, 윤리, 환자 관점의 정보를 덜 강조할 수 있습니다.

그래프 인사이트도 의미적 진실이 아니라 구조적 신호입니다. 고립 페이지가 반드시 나쁜 것은 아니며, 희박한 커뮤니티가 반드시 지식 공백인 것도 아닙니다. 새롭고 독립적인 아이디어는 처음에는 고립 페이지로 나타날 수 있습니다.

GPL-3.0 라이선스는 개인 사용에는 큰 문제가 없지만, 병원 내부 도구나 상용 서비스에 통합할 때는 법무 검토가 필요합니다. 특히 수정본을 배포하거나 다른 코드와 결합하는 방식에 따라 의무가 달라질 수 있습니다.

새 시각

1. 선생님 vault는 이미 LLM Wiki의 수동 고급 구현체입니다

이 글이 특별히 중요한 이유는 새로움보다 반영성에 있습니다. 선생님 vault는 이미 Karpathy 패턴을 수동·반자동으로 구현하고 있습니다. raw/ 불변, index.md, log.md, wiki별 SCHEMA.md, Obsidian 호환, LLM 등재 절차가 모두 있습니다. LLM Wiki 앱은 선생님이 이미 하고 있는 방식을 제품화한 외부 사례입니다.

2. 인간의 역할은 작성자가 아니라 헌법 제정자로 이동합니다

LLM이 요약, 링크, 색인, 그래프 갱신을 맡게 되면 인간은 더 이상 모든 문장을 직접 쓰는 사람이 아닙니다. 인간의 일은 어떤 자료를 넣을지, 어떤 목적을 세울지, 어떤 오류를 허용하지 않을지, 어떤 링크를 중요하게 볼지를 정하는 것입니다. 지식 노동의 중심이 작성에서 규칙 제정으로 이동합니다.

3. 좋은 개인 지식 베이스는 검색 엔진이 아니라 연구 동료입니다

검색 엔진은 물어본 것에 답합니다. 좋은 LLM Wiki는 아직 묻지 않은 질문을 보여줍니다. 고립 페이지, 희박한 커뮤니티, 의외의 연결은 "다음 질문"을 제안합니다. 연구자에게 더 중요한 것은 답변 자동화보다 질문 생성 자동화입니다.

4. 의료 지식 베이스에서 핵심 기능은 요약보다 모순 탐지입니다

의료 분야에서 LLM Wiki의 진짜 가치는 최신 논문 요약이 아닙니다. 새 임상시험 결과가 기존 가이드라인, 이전 연구, 내 환자군의 특성과 어디서 충돌하는지 표시하는 것입니다. 단순히 더 많이 아는 도구가 아니라, 충돌을 잘 드러내는 도구가 임상적으로 더 가치 있습니다.

저와 아이들

선생님께 이 글은 현재 vault 운영 방식의 외부 검증입니다. 지금의 notes wiki는 이미 LLM Wiki 패턴의 핵심을 갖추고 있으므로, 당장 새 앱으로 옮겨야 한다기보다 현재 구조에 부족한 자동 점검 기능을 추가하는 방향이 더 현실적입니다. 예를 들어 고립 노트 탐지, source 중복 탐지, 관련 노트 추천, purpose.md에 해당하는 wiki별 목적 문서 강화가 다음 단계가 될 수 있습니다.

아인에게는 "노트를 예쁘게 쓰는 것"보다 "내 지식의 규칙을 정하는 것"이 중요하다고 설명할 수 있습니다. 어떤 자료를 믿을지, 어떤 질문을 중심에 둘지, 무엇을 반드시 출처와 연결할지를 정하는 능력이 공부의 핵심이 됩니다.

석현에게는 컴퓨터가 매번 다시 생각하는 것과 미리 정리해 두는 것의 차이를 설명하기 좋습니다. 문제를 풀 때마다 처음부터 다시 하지 않고, 배운 것을 구조화해 다음 문제에 쓰는 것이 진짜 학습입니다.

은한에게는 "내가 모르는 것을 아는 법"을 가르치는 예시가 됩니다. 지식 그래프에서 빈 곳을 찾는다는 것은 공부에서도 "내가 아직 연결하지 못한 개념"을 찾는 일과 같습니다.

관련 노트

• Google Agentic RAG — 부족한 정보를 끝까지 찾아내는 멀티 에이전트 검색 — RAG의 한계를 반복 검색으로 풀려는 접근과, LLM Wiki의 영속적 컴파일 접근을 비교할 수 있습니다.
• 카파시, 전문가가 되는 법 — 3원칙과 AI 시대의 학습 — 카파시의 학습 철학과 LLM-wiki 패턴은 모두 지식을 자기 언어로 재구성해야 한다는 점에서 연결됩니다.
• Lathe — LLM로 새로운 도메인 배우기 — LLM이 대신 학습하는 것이 아니라 학습 구조를 설계한다는 관점에서 연결됩니다.
• Supermemory AI Memory Context Engine — RAG와 장기 메모리의 차이를 다룬 노트로, LLM Wiki의 영속적 지식 베이스와 직접 비교됩니다.
• AI demands more engineering discipline. Not less — AI 시대에 생성물보다 명세·규칙·검증 체계가 중요해진다는 점에서 연결됩니다.

한 줄로 보강하면, LLM Wiki는 새로운 노트 앱이라기보다 선생님이 이미 운영 중인 vault 워크플로우가 제품 형태로 외부화된 사례이며, 다음 과제는 더 많은 자동화보다 더 선명한 목적 문서와 검증 규칙을 세우는 것입니다.