애: 완료 작업 목록과 산출물 보존 계획 등록

2026-07-02T18:48:51Z

완료 작업 목록과 산출물 보존 계획 등록

새 문서

이 문서는 말씀선집 GraphRAG 연구의 현재 상태를 기준으로, 앞으로 완료까지 필요한 작업과 지금까지 만든 산출물을 어떻게 보존할지 정리한 실행 계획서다.

현재 기준선은 다음과 같다.

* 중심 자료: 말씀선집 615권
* 보조 후보: 원리강론 후보 TXT 78건
* 성경: 1차 DB 구축 범위에서 제외
* 현재 전체 청크: 178,690개
* 현재 SQLite DB: <code>db_builds/20260702_213134/graphrag_research.sqlite</code>
* 현재 FAQ 기준 질문: 200개
* 현재 답변 자연화 샘플: 5개

== 1. 현재까지 완료된 핵심 산출물 ==

=== 1.1 전체 청크 생성 ===

* 위치: <code>project_docs/말씀선집그래프RAG/full_chunk_runs/20260702_211525_boundary_safe_all/chunks.jsonl</code>
* 크기: 약 475MB
* 청크 수: 178,690개
* 방식: 문단 기반 <code>boundary_safe_v1_hardmax1600</code>
* 의미: 말씀선집 615권 전체를 질문 검색과 DB 적재가 가능한 단위로 분할한 기준 파일이다.

=== 1.2 전체 색인 SQLite DB ===

* 위치: <code>project_docs/말씀선집그래프RAG/db_builds/20260702_213134/graphrag_research.sqlite</code>
* 크기: 약 667MB
* 포함 내용:
** 말씀선집 PDF 원본 메타데이터 615건
** 원리강론 후보 TXT 메타데이터 78건
** 말씀선집 전체 청크 178,690건
** FAQ 질문 200건
** FAQ 테스트 결과 200건
* 의미: PostgreSQL 전환 전 사용할 1차 전체 색인 기준선이다.

=== 1.3 FAQ 200개 랭킹 보정 재테스트 ===

* 위치: <code>project_docs/말씀선집그래프RAG/faq_200_ranked_retests/20260702_221642/</code>
* 결과:
** 근거 충분: 43개
** 검수 필요: 103개
** 부분 근거: 35개
** 근거 부족: 19개
* 의미: 단순 검색 결과를 그대로 믿지 않고, 질문 핵심어와 고유어 기준으로 과신을 줄인 최종 검색 기준선이다.

=== 1.4 근거 충분 43개 자동 초안 ===

* 위치: <code>project_docs/말씀선집그래프RAG/faq_answer_drafts/20260703_031625_strong43/</code>
* 내용:
** 근거 충분 43개 질문
** 질문별 Top3 근거 청크
** 원문 발췌
** 검수 메모
* 의미: 최종 답변이 아니라 자연화와 사람 검수를 위한 원자료다.

=== 1.5 자연화 5개 샘플 ===

* 위치: <code>project_docs/말씀선집그래프RAG/faq_answer_drafts/20260703_032000_naturalized5/</code>
* 대상: E-004, E-011, E-059, U-024, U-071
* 형식: 질문, 답변 초안, 핵심 요지, 근거 출처, 검수 메모
* 의미: 나머지 근거 충분 답변을 사람이 읽는 FAQ 문장으로 바꿀 때 사용할 기준 형식이다.

== 2. 완료까지 해야 할 일 ==

=== 2.1 용어 정리 ===

일부 산출물에는 영문 상태명이 남아 있다. 이후 위키와 논문에서는 다음 한국어 표현으로 통일한다.

{| class="wikitable"
! 기존 표현 !! 한국어 표현 !! 의미
|-
| strong_evidence || 근거 충분 || 현재 근거만으로 답변 초안 생성 가능
|-
| reviewable_candidate || 검수 필요 || 근거 후보는 있으나 사람 검토가 필요
|-
| partial_evidence || 부분 근거 || 일부 관련 근거만 있고 답변에는 부족
|-
| insufficient_evidence || 근거 부족 || 현재 DB로는 답변 근거가 부족
|}

우선 처리:

* 새 문서에는 한국어 상태명을 우선 사용한다.
* 기존 실험 결과 파일의 원본 상태명은 보존하되, 해설 문서에는 한국어 병기를 붙인다.
* 위키 제목과 본문은 가능한 한 근거 충분, 검수 필요, 부분 근거, 근거 부족 중심으로 고친다.

=== 2.2 근거 충분 43개 답변 완성 ===

이미 5개 자연화 샘플을 만들었으므로, 남은 38개를 같은 형식으로 자연화한다.

작업 방식:

# <code>strong_answer_drafts.jsonl</code>에서 남은 38개를 읽는다.
# 질문별 Top3 근거 청크를 확인한다.
# 자동 발췌 문장을 그대로 쓰지 않고, 일반 독자가 읽을 수 있는 FAQ 문장으로 바꾼다.
# 각 답변마다 근거 출처와 검수 메모를 유지한다.
# 결과를 로컬 문서와 위키에 반영한다.

완료 기준:

* 근거 충분 43개 전체가 자연화 형식으로 작성되어야 한다.
* 각 답변에는 최소 1개 이상의 권/쪽/청크ID 근거가 있어야 한다.
* 최종 확정 전 상태는 사람 검수 필요로 유지한다.

=== 2.3 검수 필요 103개 정리 ===

검수 필요 103개는 바로 답변을 만들지 않고, Top10 근거 묶음 검수 패키지로 정리한다.

작업 방식:

# 질문별 Top10 근거를 묶는다.
# 중복 주제와 일반어 매칭 결과를 제거한다.
# 답변 가능, 근거 보강 필요, 오검색, 추가 문헌 필요로 재분류한다.
# 답변 가능으로 올라온 항목만 자연화 대상으로 승격한다.

완료 기준:

* 103개 전체에 재분류 상태가 있어야 한다.
* 오검색 사례는 별도 표로 남긴다.
* 답변 가능으로 승격된 질문 수를 기록한다.

=== 2.4 부분 근거 35개와 근거 부족 19개 처리 ===

부분 근거와 근거 부족 항목은 답변 생성 대상이 아니라 보류 항목으로 관리한다.

작업 방식:

# 질문이 너무 넓은지 확인한다.
# 말씀선집만으로 답하기 어려운지 확인한다.
# 원리강론 후보 TXT를 추가 검색했을 때 개선되는지 별도 테스트한다.
# 성경 본문이 필요한 질문은 현재 1차 DB 범위 밖으로 표시한다.

완료 기준:

* 54개 전체에 보류 사유를 붙인다.
* 질문 재작성 필요 항목을 분리한다.
* 추가 문헌 없이 답변하면 위험한 항목을 표시한다.

=== 2.5 원문 대조 검수 ===

검색 결과가 실제 PDF 권/쪽과 맞는지 표본 대조한다.

작업 방식:

# 근거 충분 답변 중 10-20개를 뽑는다.
# 청크의 권/쪽 번호가 PDF 원문과 맞는지 확인한다.
# 문장 경계가 자연스러운지 확인한다.
# 인용 가능한 문장인지 확인한다.
# 문제가 있으면 청크 메타데이터와 추출 경고를 보정한다.

완료 기준:

* 표본 검수표가 있어야 한다.
* 권/쪽 오류가 발견되면 수정 이력을 남긴다.
* 인용 부적합 청크는 답변 근거에서 제외한다.

=== 2.6 PostgreSQL + pgvector 전환 ===

현재 SQLite 기준선을 PostgreSQL로 이전한다.

이전 대상:

* <code>source_documents</code>
* <code>text_chunks</code>
* <code>faq_records</code>
* <code>evidence_sources</code>
* <code>test_results</code>
* 향후 <code>embeddings</code>

작업 방식:

# PostgreSQL 스키마를 작성한다.
# SQLite 기준 DB에서 CSV 또는 직접 로딩 방식으로 이전한다.
# pgvector 확장을 활성화한다.
# 임베딩 전용 테이블을 추가한다.
# 인덱스와 백업 정책을 만든다.

완료 기준:

* PostgreSQL에서 청크 178,690개 조회가 가능해야 한다.
* FAQ 200개 검색 테스트를 PostgreSQL 기준으로 재현해야 한다.
* SQLite 기준 결과와 PostgreSQL 결과 차이를 기록한다.

=== 2.7 임베딩 샘플 테스트 ===

전체 임베딩 전에 1만 청크 샘플로 검색 품질을 검증한다.

작업 방식:

# 1만 청크 샘플을 선정한다.
# 임베딩 후보 모델 2-3개를 비교한다.
# FAQ 30-50개 질문으로 검색 테스트를 한다.
# 키워드 검색, 임베딩 검색, 혼합 검색을 비교한다.
# Top10 근거가 실제 답변 근거로 좋아지는지 본다.

완료 기준:

* 모델별 검색 품질표가 있어야 한다.
* 모델별 비용과 저장용량 추정이 있어야 한다.
* 전체 178,690개 임베딩으로 확대할지 결정한다.

=== 2.8 FAQ 답변 DB 구조 확정 ===

최종 FAQ DB는 단순 문답표가 아니라 질문, 답변, 근거, 검수 상태를 함께 저장해야 한다.

필수 필드:

* 질문 ID
* 질문 원문
* 질문 분류
* 답변 초안
* 최종 답변
* 근거 청크 Top3/Top5/Top10
* 근거 등급
* 검수 상태
* 수정 이력
* 공식 감수 여부

완료 기준:

* 답변 초안과 최종 답변을 분리해야 한다.
* 근거 없는 답변은 공개 상태로 올라가면 안 된다.
* 검수자와 수정 시간을 남길 수 있어야 한다.

=== 2.9 위키와 논문용 결과 정리 ===

필요 문서:

* 전체 파이프라인 구조도
* 3권 샘플과 615권 전체 결과 비교표
* 랭킹 보정 전후 비교표
* 자연화 전후 답변 예시
* 오검색 보정 사례
* 저장용량과 토큰 사용량 표

완료 기준:

* 논문 방법론 장에 들어갈 절차 설명이 있어야 한다.
* 실험 결과 장에 들어갈 표가 있어야 한다.
* 실패 사례와 한계가 함께 기록되어야 한다.

=== 2.10 최종 운영 단계 ===

필요 기능:

* 질문 입력
* 근거 검색
* Top 근거 확인
* 답변 초안 생성
* 출처 표시
* 사람 검수
* 공개 가능 답변만 분리

완료 기준:

* FAQ 질문을 넣으면 근거 청크와 답변 초안이 함께 나와야 한다.
* 출처 없는 답변은 생성하지 않아야 한다.
* 검수 전 답변과 공개 답변을 구분해야 한다.

== 3. 산출물 보존 계획 ==

=== 3.1 보존 원칙 ===

# 원본 PDF는 NAS에 있는 것을 기준 원본으로 유지한다.
# 로컬에는 DB, 청크, 스크립트, 테스트 결과, 문서만 보존한다.
# 대용량 결과물은 체크섬을 만들어 무결성을 확인한다.
# 코드와 문서는 Git으로 관리한다.
# DB와 청크 파일은 Git에 넣지 않고 별도 백업 대상으로 둔다.

=== 3.2 반드시 보존할 파일 ===

==== A. 기준 DB ====

* <code>project_docs/말씀선집그래프RAG/db_builds/20260702_213134/graphrag_research.sqlite</code>
* 크기: 약 667MB
* 보존 이유: 현재 1차 전체 색인 기준선이다.

==== B. 기준 청크 JSONL ====

* <code>project_docs/말씀선집그래프RAG/full_chunk_runs/20260702_211525_boundary_safe_all/chunks.jsonl</code>
* 크기: 약 475MB
* 보존 이유: DB를 다시 만들 수 있는 전체 청크 원본이다.

==== C. 실행 스크립트 ====

* <code>chunk_all_words_collection.py</code>
* <code>build_research_db.py</code>
* <code>faq_200_top10_stream_retest.py</code>
* <code>faq_evidence_sample_audit.py</code>
* <code>faq_strong_answer_draft_pack.py</code>
* <code>publish_naturalized5_to_wiki.py</code>

==== D. 테스트 결과 ====

* <code>faq_200_answer_tests/20260702_212702/</code>
* <code>faq_evidence_audits/20260702_220119/</code>
* <code>faq_200_ranked_retests/20260702_221642/</code>
* <code>faq_answer_drafts/20260703_031625_strong43/</code>
* <code>faq_answer_drafts/20260703_032000_naturalized5/</code>

==== E. 설계 문서 ====

* <code>DB_STRUCTURE_AND_TEST_RESULTS.md</code>
* <code>BOUNDARY_REPAIR_STRATEGY_AND_RESULTS.md</code>
* <code>TOKEN_USAGE_ESTIMATE.md</code>
* <code>COMPLETION_AND_PRESERVATION_PLAN.md</code>
* <code>DOCUMENTS.md</code>
* <code>CHANGELOG.md</code>
* <code>TODO.md</code>

=== 3.3 보존하지 않아도 되는 파일 ===

다음은 필요할 때 다시 만들 수 있거나 중복 산출물이므로 장기 보존 우선순위가 낮다.

* 실패한 중간 실행 결과
* 중복된 이전 답변 초안 폴더
* Python <code>__pycache__</code>
* 임시 로그
* 위키 등록 중간 파일 중 최종 문서와 동일한 복사본

단, 삭제는 바로 하지 말고 보존 기준선이 완전히 만들어진 뒤 정리한다.

=== 3.4 권장 백업 구조 ===

새 백업 기준선 이름은 다음처럼 둔다.

<code>20260703_words_graphrag_baseline_v1</code>

권장 폴더 구조:

<pre>
project_docs/말씀선집그래프RAG/releases/20260703_words_graphrag_baseline_v1/
manifest.md
checksums.sha256
docs/
scripts/
reports/
pointers/
</pre>

여기에는 대용량 DB와 청크 파일을 직접 복사하지 않고, 우선 경로와 체크섬을 기록한다. NAS 백업을 만들 때만 대용량 파일을 별도 복사한다.

NAS 백업 후보 경로:

<pre>
ffwpcb/말씀선집GraphRAG_백업/20260703_words_graphrag_baseline_v1/
</pre>

=== 3.5 체크섬 생성 ===

대용량 파일은 복사보다 먼저 체크섬을 만든다.

대상:

* 전체 청크 JSONL
* SQLite DB
* 주요 결과 JSONL

예상 명령:

<pre>
sha256sum full_chunk_runs/20260702_211525_boundary_safe_all/chunks.jsonl
sha256sum db_builds/20260702_213134/graphrag_research.sqlite
</pre>

체크섬은 <code>checksums.sha256</code>에 저장한다. 나중에 파일을 NAS로 옮긴 뒤 다시 체크섬을 비교하면 손상 여부를 확인할 수 있다.

=== 3.6 SQLite DB 검증 ===

DB 파일은 백업 전후에 무결성 검사를 한다.

예상 명령:

<pre>
sqlite3 db_builds/20260702_213134/graphrag_research.sqlite "PRAGMA integrity_check;"
</pre>

결과가 <code>ok</code>여야 기준선으로 인정한다.

=== 3.7 압축 전략 ===

대용량 텍스트 파일은 압축 보관이 가능하다.

권장:

* <code>chunks.jsonl</code>은 압축 대상
* <code>graphrag_research.sqlite</code>는 원본 DB와 압축본을 함께 보관할 수 있음
* PDF 원본은 NAS 기준 원본으로 두고 중복 복사하지 않음

예상 용량:

* 기준 DB: 약 667MB
* 기준 청크 JSONL: 약 475MB
* 주요 리포트: 수 MB
* 1회 기준선 전체: 약 1.2GB 전후

=== 3.8 Git 관리 기준 ===

Git에 넣을 것:

* 스크립트
* 설계 문서
* 요약 리포트
* 위키 원본 문서
* 체크섬 파일
* manifest 파일

Git에 넣지 않을 것:

* 475MB 청크 JSONL
* 667MB SQLite DB
* NAS 원본 PDF
* 대용량 압축본

대용량 파일은 Git이 아니라 release manifest와 NAS 백업으로 관리한다.

=== 3.9 위키 보존 ===

위키에는 다음 문서를 기준으로 연결해 둔다.

* [[말씀선집 GraphRAG 연구/DB 구조 설계와 테스트 결과|DB 구조 설계와 테스트 결과]]
* [[말씀선집 GraphRAG 연구/문장 경계 보정 전략과 결과|문장 경계 보정 전략과 결과]]
* [[말씀선집 GraphRAG 연구/FAQ 근거 표본 검수 결과|FAQ 근거 표본 검수 결과]]
* [[말씀선집 GraphRAG 연구/FAQ Top10 랭킹 보정 재테스트|FAQ Top10 랭킹 보정 재테스트]]
* [[말씀선집 GraphRAG 연구/FAQ strong 43개 답변 초안|FAQ 근거 충분 43개 답변 초안]]
* [[말씀선집 GraphRAG 연구/FAQ strong 답변 자연화 5개 샘플|FAQ 근거 충분 답변 자연화 5개 샘플]]
* [[말씀선집 GraphRAG 연구/완료 작업 목록과 산출물 보존 계획|완료 작업 목록과 산출물 보존 계획]]

위키는 사람이 읽는 연구 기록이고, 로컬 파일은 재현 가능한 원자료로 본다.

== 4. 추천 실행 순서 ==

=== 4.1 즉시 실행 ===

# 이 문서를 위키에 등록한다.
# 용어를 한국어 상태명으로 정리한다.
# 기준선 release manifest를 만든다.
# DB와 청크 파일 체크섬을 만든다.

=== 4.2 다음 실행 ===

# 남은 근거 충분 38개 자연화.
# 검수 필요 103개 Top10 검수 패키지 생성.
# 부분 근거와 근거 부족 항목 보류 사유 정리.
# PostgreSQL 전환 설계.

=== 4.3 그 다음 실행 ===

# 1만 청크 임베딩 샘플 테스트.
# 키워드 검색과 임베딩 검색 비교.
# FAQ 답변 DB 최종 구조 확정.
# 논문용 표와 시스템 구조도 작성.

== 5. 현재 판단 ==

지금 단계에서 가장 중요한 것은 답변을 많이 만드는 것이 아니라, 이미 만든 결과를 잃지 않고 재현 가능하게 고정하는 것이다.

따라서 다음 우선순위는 다음과 같다.

# 기준선 보존
# 한국어 용어 정리
# 근거 충분 43개 자연화 완료
# 검수 필요 103개 재분류
# PostgreSQL 전환

이 순서로 가야 연구 기록, 논문 작성, 실제 DB 구축이 서로 어긋나지 않는다.

[[분류:말씀선집 GraphRAG 연구]]

말씀선집 GraphRAG 연구/완료 작업 목록과 산출물 보존 계획 - 편집 역사

애: 완료 작업 목록과 산출물 보존 계획 등록