https://www.cheonilgukwiki.org/index.php?action=history&feed=atom&title=%EB%A7%90%EC%94%80%EC%84%A0%EC%A7%91_GraphRAG_%EC%97%B0%EA%B5%AC%2FDB_%EA%B5%AC%EC%B6%95_%EB%B0%A9%ED%96%A5
말씀선집 GraphRAG 연구/DB 구축 방향 - 편집 역사
2026-07-14T08:22:56Z
이 문서의 편집 역사
MediaWiki 1.45.3
https://www.cheonilgukwiki.org/index.php?title=%EB%A7%90%EC%94%80%EC%84%A0%EC%A7%91_GraphRAG_%EC%97%B0%EA%B5%AC/DB_%EA%B5%AC%EC%B6%95_%EB%B0%A9%ED%96%A5&diff=50971&oldid=prev
애: DB 구축 방향 문서에 구조 설계와 테스트 결과 연결
2026-07-02T09:40:42Z
<p>DB 구축 방향 문서에 구조 설계와 테스트 결과 연결</p>
<table style="background-color: #fff; color: #202122;" data-mw="interface">
<col class="diff-marker" />
<col class="diff-content" />
<col class="diff-marker" />
<col class="diff-content" />
<tr class="diff-title" lang="ko">
<td colspan="2" style="background-color: #fff; color: #202122; text-align: center;">← 이전 판</td>
<td colspan="2" style="background-color: #fff; color: #202122; text-align: center;">2026년 7월 2일 (목) 18:40 판</td>
</tr><tr><td colspan="2" class="diff-lineno" id="mw-diff-left-l227">227번째 줄:</td>
<td colspan="2" class="diff-lineno">227번째 줄:</td></tr>
<tr><td class="diff-marker"></td><td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>== 관련 문서 ==</div></td><td class="diff-marker"></td><td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>== 관련 문서 ==</div></td></tr>
<tr><td class="diff-marker"></td><td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><br></td><td class="diff-marker"></td><td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><br></td></tr>
<tr><td colspan="2" class="diff-side-deleted"></td><td class="diff-marker" data-marker="+"></td><td style="color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div><ins style="font-weight: bold; text-decoration: none;">* [[말씀선집 GraphRAG 연구/DB 구조 설계와 테스트 결과]]</ins></div></td></tr>
<tr><td class="diff-marker"></td><td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>* 상위 문서: [[말씀선집 GraphRAG 연구]]</div></td><td class="diff-marker"></td><td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>* 상위 문서: [[말씀선집 GraphRAG 연구]]</div></td></tr>
<tr><td class="diff-marker"></td><td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>* 로컬 문서: <code>/home/ruyjin/.openclaw/workspace/project_docs/말씀선집그래프RAG/DB_SETUP_PLAN.md</code></div></td><td class="diff-marker"></td><td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>* 로컬 문서: <code>/home/ruyjin/.openclaw/workspace/project_docs/말씀선집그래프RAG/DB_SETUP_PLAN.md</code></div></td></tr>
</table>
애
https://www.cheonilgukwiki.org/index.php?title=%EB%A7%90%EC%94%80%EC%84%A0%EC%A7%91_GraphRAG_%EC%97%B0%EA%B5%AC/DB_%EA%B5%AC%EC%B6%95_%EB%B0%A9%ED%96%A5&diff=50963&oldid=prev
애: 말씀선집 GraphRAG DB 구축 방향 문서 등록
2026-07-02T09:05:08Z
<p>말씀선집 GraphRAG DB 구축 방향 문서 등록</p>
<p><b>새 문서</b></p><div>= DB 구축 방향 =<br />
<br />
이 문서는 [[말씀선집 GraphRAG 연구]]를 실제 검색 시스템으로 구현하기 위한 1차 데이터베이스 설계 방향과 파이프라인 구조를 정리한다.<br />
<br />
== 목적 ==<br />
<br />
목표는 말씀선집 전체를 권, 페이지, 제목, 본문 단위로 검색하고, 주제, 인물, 개념 관계를 그래프로 연결하여 질문에 대해 근거 페이지와 함께 답하게 만드는 연구용 GraphRAG 기반 말씀 검색 시스템을 세우는 것이다.<br />
<br />
== 현재 자료 확인 ==<br />
<br />
* NAS 경로: <code>~/ffwpcb/말씀선집</code><br />
* 실제 마운트 경로: <code>/run/user/1000/gvfs/smb-share:server=172.30.1.1,share=ffwpcb,user=ffwpcbai/말씀선집</code><br />
* PDF 수: 615권<br />
* 전체 페이지: 약 207,548쪽<br />
* 전체 용량: 약 765MB<br />
* 샘플 확인: <code>001권.pdf</code>, <code>615권.pdf</code><br />
* 텍스트 추출: <code>pdftotext</code>로 본문 추출 가능<br />
* OCR 판단: 1차 단계에서는 OCR 불필요<br />
* 로컬 디스크 여유: 약 52GB<br />
<br />
== 기본 저장 원칙 ==<br />
<br />
원본 PDF는 NAS에 그대로 둔다. 로컬에는 원본을 복사하지 않고 다음 산출물만 저장한다.<br />
<br />
* 파일 목록과 해시값<br />
* 페이지별 추출 텍스트<br />
* 문단 및 청크 데이터<br />
* 임베딩 벡터<br />
* 키워드 검색 색인<br />
* 지식그래프 노드와 관계<br />
* 처리 로그와 실패 목록<br />
<br />
이 방식은 NAS 원본 보존, 로컬 저장공간 절약, 재처리 가능성 확보에 유리하다.<br />
<br />
== 1차 DB 구성안 ==<br />
<br />
=== PostgreSQL + pgvector ===<br />
<br />
1차 연구용 중심 DB로 사용한다.<br />
<br />
주요 역할:<br />
<br />
* 문서 메타데이터 관리<br />
* 권, 페이지, 청크 저장<br />
* 임베딩 벡터 저장<br />
* 질의 결과의 출처 추적<br />
* 처리 상태 관리<br />
<br />
핵심 테이블 후보:<br />
<br />
* <code>source_files</code>: PDF 파일 경로, 권수, 파일명, 크기, 해시값<br />
* <code>volumes</code>: 권 단위 메타데이터<br />
* <code>pages</code>: 권, 페이지 번호, 추출 텍스트<br />
* <code>sections</code>: 제목, 소제목, 설교 단위 구간<br />
* <code>chunks</code>: 검색용 본문 청크<br />
* <code>chunk_embeddings</code>: 청크별 임베딩 벡터<br />
* <code>ingest_runs</code>: 처리 실행 기록<br />
* <code>ingest_errors</code>: 추출 실패와 재처리 대상<br />
<br />
=== Neo4j ===<br />
<br />
GraphRAG 고도화 단계에서 추가한다.<br />
<br />
주요 역할:<br />
<br />
* 인물, 개념, 사건, 장소, 시대, 주제군을 노드로 저장<br />
* 말씀 본문과 핵심 개념의 관계를 연결<br />
* 개념 흐름, 시대별 변화, 주제별 관계망 검색 지원<br />
<br />
노드 후보:<br />
<br />
* <code>Volume</code><br />
* <code>Page</code><br />
* <code>Chunk</code><br />
* <code>SermonTitle</code><br />
* <code>Person</code><br />
* <code>Place</code><br />
* <code>Concept</code><br />
* <code>DoctrineTerm</code><br />
* <code>Event</code><br />
* <code>Era</code><br />
* <code>Topic</code><br />
<br />
관계 후보:<br />
<br />
* <code>CONTAINS</code><br />
* <code>NEXT</code><br />
* <code>MENTIONS</code><br />
* <code>EXPLAINS</code><br />
* <code>CONTRASTS_WITH</code><br />
* <code>RELATED_TO</code><br />
* <code>BELONGS_TO_TOPIC</code><br />
* <code>EVIDENCE_OF</code><br />
<br />
=== OpenSearch + nori analyzer ===<br />
<br />
한국어 전문검색 고도화 단계에서 검토한다.<br />
<br />
정확한 용어 검색이 중요한 이유:<br />
<br />
* 참부모<br />
* 복귀섭리<br />
* 천지인부모<br />
* 원구피스컵<br />
* 탕감<br />
* 재림<br />
<br />
이런 용어는 의미 검색보다 키워드 검색이 더 정확한 경우가 많다. 따라서 벡터 검색만으로 가지 않고 키워드 검색과 결합한다.<br />
<br />
== 권장 구축 순서 ==<br />
<br />
처음부터 615권 전체를 넣지 않는다. 먼저 앞, 중간, 뒤 표본으로 파이프라인 품질을 확인한다.<br />
<br />
=== 1단계: 샘플 인벤토리 ===<br />
<br />
* 대상: <code>001권.pdf</code>, <code>615권.pdf</code>, 중간 권수 1-3개<br />
* 파일 경로, 권수, 페이지 수, 파일 크기, 해시값 저장<br />
* 실패 파일과 중복 파일 확인<br />
<br />
=== 2단계: 페이지별 텍스트 추출 ===<br />
<br />
* <code>pdftotext</code> 기반 추출<br />
* 페이지 단위로 텍스트 저장<br />
* 추출 공백, 깨진 문자, 쪽머리와 쪽번호 패턴 확인<br />
<br />
=== 3단계: 구조화 ===<br />
<br />
* 권 번호<br />
* PDF 페이지 번호<br />
* 본문 내 인쇄 페이지 번호<br />
* 설교 제목<br />
* 소제목<br />
* 문단<br />
<br />
출처 인용을 위해 권과 페이지가 반드시 보존되어야 한다.<br />
<br />
=== 4단계: 청크 분할 ===<br />
<br />
권장 기본값:<br />
<br />
* 청크 크기: 한국어 기준 800-1,200자<br />
* 겹침: 100-200자<br />
* 제목과 페이지 메타데이터를 청크마다 포함<br />
<br />
설교 문맥을 보존하기 위해 단순 글자 수 절단보다 문단 기준 분할을 우선한다.<br />
<br />
=== 5단계: 임베딩 생성 ===<br />
<br />
선택지:<br />
<br />
* 빠른 연구용: OpenAI 계열 임베딩 API<br />
* 비용 절감과 로컬화: 한국어 성능이 괜찮은 로컬 임베딩 모델<br />
<br />
1차는 샘플 권수만 임베딩하여 검색 품질을 비교한다.<br />
<br />
=== 6단계: GraphRAG 추출 ===<br />
<br />
LLM을 사용해 청크에서 다음 항목을 추출한다.<br />
<br />
* 인물<br />
* 장소<br />
* 핵심 개념<br />
* 섭리 용어<br />
* 사건<br />
* 시대<br />
* 주제<br />
* 개념 간 관계<br />
<br />
추출 결과는 바로 확정하지 않고 검수 가능한 후보 그래프로 저장한다.<br />
<br />
=== 7단계: 질의응답 테스트 ===<br />
<br />
테스트 질의 유형:<br />
<br />
* 키워드형: 특정 용어가 나오는 권과 페이지 찾기<br />
* 의미형: 유사한 뜻의 말씀 찾기<br />
* 관계형: A 개념과 B 개념의 연결 설명<br />
* 시대별 변화형: 특정 주제가 권수 흐름에 따라 어떻게 변하는지 확인<br />
* 목회 활용형: 설교 준비를 위한 근거 말씀 찾기<br />
<br />
== 파이프라인 스크립트 구조안 ==<br />
<br />
향후 실제 구현 시 다음 구조를 기준으로 둔다.<br />
<br />
<pre><br />
words-graphrag/<br />
README.md<br />
docker-compose.yml<br />
.env.example<br />
config/<br />
sources.yml<br />
chunking.yml<br />
graph_schema.yml<br />
scripts/<br />
01_inventory.py<br />
02_extract_pages.py<br />
03_normalize_text.py<br />
04_chunk_pages.py<br />
05_embed_chunks.py<br />
06_extract_graph.py<br />
07_load_neo4j.py<br />
08_query_smoke_test.py<br />
sql/<br />
001_init.sql<br />
002_pgvector.sql<br />
003_indexes.sql<br />
data/<br />
extracted/<br />
logs/<br />
samples/<br />
notebooks/<br />
retrieval_quality_check.ipynb<br />
</pre><br />
<br />
== 1차 판단 ==<br />
<br />
현재 자료는 PDF 텍스트 추출이 가능하고 전체 용량도 크지 않다. 따라서 첫 단계는 OCR이나 대형 인프라가 아니라, 정확한 출처 보존과 샘플 파이프라인 검증이어야 한다.<br />
<br />
가장 현실적인 첫 목표는 다음과 같다.<br />
<br />
# <code>001권</code>, <code>615권</code>, 중간 권수 1-3개를 대상으로 페이지별 추출을 완료한다.<br />
# PostgreSQL에 파일, 페이지, 청크 메타데이터를 저장한다.<br />
# pgvector 또는 별도 벡터 저장소에 샘플 임베딩을 넣는다.<br />
# 질문에 대해 “몇 권 몇 쪽” 근거를 돌려주는 RAG를 먼저 만든다.<br />
# 그 다음 Neo4j에 인물, 개념, 주제 관계를 붙인다.<br />
<br />
== 관련 문서 ==<br />
<br />
* 상위 문서: [[말씀선집 GraphRAG 연구]]<br />
* 로컬 문서: <code>/home/ruyjin/.openclaw/workspace/project_docs/말씀선집그래프RAG/DB_SETUP_PLAN.md</code><br />
<br />
[[분류:말씀선집 GraphRAG 연구]]<br />
[[분류:GraphRAG]]<br />
[[분류:DB설계]]<br />
[[분류:연구기획]]</div>
애