말씀선집 GraphRAG 연구/FAQ Top10 랭킹 보정 재테스트

FAQ 200개 Top10 랭킹 보정 재테스트

전제

표본 검수에서 `strong_evidence` 안에도 일반어 매칭으로 인한 오검색 의심 사례가 확인되었다. 이번 재테스트는 FAQ 질문의 실제 핵심어만 사용해 전체 청크를 한 번 훑고, 질문별 Top10 후보를 유지하는 스트리밍 방식으로 실행하였다.

보정 기준은 실제 핵심어 매칭 가중, 고유어 매칭 가중, 고유어 누락 감점, 일반어 중심 결과 감점이다.

전체 결과

| 판정 | 보정 후 | 이전 엄격 재테스트 | |---|---:|---:| | strong_evidence | 43 | 113 | | reviewable_candidate | 103 | 75 | | partial_evidence | 35 | 4 | | insufficient_evidence | 19 | 8 | | 전체 | 200 | 200 |

그룹별 결과

| 그룹 | 전체 | strong_evidence | reviewable_candidate | partial_evidence | insufficient_evidence | |---|---:|---:|---:|---:|---:| | E | 100 | 18 | 51 | 18 | 13 | | U | 100 | 25 | 52 | 17 | 6 |

E-024 보정 확인

- 이전 상태: `strong_evidence` - 보정 후 상태: `partial_evidence` - Top1: 229권 28-28쪽 `vol229-00020` - 실제 핵심 매칭어: 부정, 정결 - 위험 신호: bible_text_excluded

상태 변화 목록

| ID | 이전 | 보정 후 | 질문 | 보정 후 Top1 | 실제 핵심 매칭어 | 위험 신호 | |---|---|---|---|---|---|---| | E-006 | strong_evidence | reviewable_candidate | 창세기 6장의 하나님의 아들들과 사람의 딸들은 누구인가? | 438권 187-187쪽 `vol438-00145` | 누구인, 딸들, 아들들 | bible_text_excluded | | E-016 | strong_evidence | reviewable_candidate | 하나님이 바로의 마음을 완악하게 하셨다는 말은 무슨 뜻인가? | 003권 260-260쪽 `vol003-00247` | 마음, 바로, 하셨다 | bible_text_excluded | | E-017 | strong_evidence | reviewable_candidate | 열 가지 재앙은 왜 그렇게 단계적으로 일어났는가? | 408권 27-28쪽 `vol408-00017` | 가지, 그렇게, 단계적 | bible_text_excluded | | E-019 | reviewable_candidate | partial_evidence | 홍해가 갈라진 사건은 단순한 기적인가 상징인가? | 590권 73-74쪽 `vol590-00058` | 갈라진, 단순 | bible_text_excluded | | E-022 | reviewable_candidate | partial_evidence | 번제, 속죄제, 화목제는 서로 무엇이 다른가? | 477권 34-35쪽 `vol477-00024` | 번제, 속죄제 | bible_text_excluded | | E-023 | partial_evidence | insufficient_evidence | 왜 성경은 피가 속죄한다고 말하는가? | 611권 19-19쪽 `vol611-00010` | 피가 | bible_text_excluded, low_core_match | | E-024 | strong_evidence | partial_evidence | 정결한 것과 부정한 것을 나눈 이유는 무엇인가? | 229권 28-28쪽 `vol229-00020` | 부정, 정결 | bible_text_excluded | | E-025 | strong_evidence | reviewable_candidate | 구약의 음식 규례는 오늘날에도 지켜야 하는가? | 131권 25-25쪽 `vol131-00015` | 음식, 지켜야 | bible_text_excluded | | E-027 | strong_evidence | reviewable_candidate | 희년 제도는 실제로 시행되었으며 어떤 뜻이 있는가? | 083권 267-267쪽 `vol083-00259` | 뜻이, 제도 | bible_text_excluded | | E-030 | reviewable_candidate | partial_evidence | 율법은 은혜와 반대되는 것인가? | 144권 314-314쪽 `vol144-00287` | 반대되, 은혜 | bible_text_excluded | | E-031 | strong_evidence | reviewable_candidate | 여호수아의 가나안 정복 전쟁은 왜 그렇게 잔혹하게 보이는가? | 150권 22-22쪽 `vol150-00013` | 가나안, 그렇게, 여호수아 | bible_text_excluded | | E-033 | reviewable_candidate | partial_evidence | 사사기에는 왜 범죄와 구원이 반복되는가? | 229권 79-79쪽 `vol229-00067` | 구원, 범죄 | bible_text_excluded | | E-036 | strong_evidence | reviewable_candidate | 다윗은 큰 죄를 지었는데 왜 하나님의 마음에 합한 사람이라 불리는가? | 032권 337-339쪽 `vol032-00326` | 다윗, 마음 | bible_text_excluded | | E-040 | reviewable_candidate | partial_evidence | 바벨론 포로는 징벌인가 회복의 시작인가? | 318권 225-225쪽 `vol318-00170` | 바벨론, 포로 | bible_text_excluded | | E-041 | strong_evidence | reviewable_candidate | 욥은 왜 이유 없이 고난을 받았는가? | 095권 104-105쪽 `vol095-00093` | 고난, 없이 | bible_text_excluded | | E-042 | strong_evidence | reviewable_candidate | 욥의 친구들의 말은 왜 경건해 보이지만 틀렸는가? | 592권 306-306쪽 `vol592-00250` | 보이지, 친구들 | bible_text_excluded | | E-043 | reviewable_candidate | insufficient_evidence | 시편의 저주시는 오늘날 어떻게 읽어야 하는가? | `` | - | - | | E-044 | reviewable_candidate | partial_evidence | 여호와를 경외한다는 말은 두려워하라는 뜻인가? | 543권 178-179쪽 `vol543-00147` | 뜻인, 여호와 | bible_text_excluded, chunk_has_extraction_warnings | | E-045 | strong_evidence | reviewable_candidate | 잠언의 약속과 현실이 다를 때 어떻게 이해해야 하는가? | 142권 46-47쪽 `vol142-00035` | 다를, 현실 | bible_text_excluded | | E-047 | strong_evidence | reviewable_candidate | 아가서는 단순한 사랑 노래인가 신앙적 비유인가? | 497권 307-308쪽 `vol497-00257` | 사랑, 아가서 | bible_text_excluded | | E-048 | reviewable_candidate | partial_evidence | 왜 의인이 고난받고 악인이 형통한가? | 400권 78-79쪽 `vol400-00060` | 악인, 의인 | bible_text_excluded | | E-049 | strong_evidence | reviewable_candidate | 성경이 말하는 지혜는 지식이나 똑똑함과 무엇이 다른가? | 338권 238-238쪽 `vol338-00191` | 말하, 지혜 | bible_text_excluded | | E-051 | strong_evidence | reviewable_candidate | 선지자는 미래를 맞히는 사람인가 하나님의 뜻을 전하는 사람인가? | 084권 66-67쪽 `vol084-00058` | 뜻을, 미래, 전하 | bible_text_excluded | | E-053 | reviewable_candidate | partial_evidence | 처녀가 잉태한다는 예언은 어떤 의미인가? | 608권 82-83쪽 `vol608-00067` | 예언, 처녀 | bible_text_excluded | | E-054 | reviewable_candidate | insufficient_evidence | 예레미야의 새 언약은 옛 언약과 무엇이 다른가? | `` | - | - | | E-058 | strong_evidence | reviewable_candidate | 요나는 왜 니느웨가 용서받는 것을 싫어했는가? | 485권 267-268쪽 `vol485-00226` | 니느웨, 요나 | bible_text_excluded | | E-060 | strong_evidence | reviewable_candidate | 성경 예언은 반드시 문자 그대로 성취되는가? | 074권 63-63쪽 `vol074-00053` | 문자, 반드시, 예언 | bible_text_excluded | | E-065 | reviewable_candidate | partial_evidence | 산상수훈은 실제로 지킬 수 있는 명령인가? | 506권 72-73쪽 `vol506-00054` | 실제, 지킬 | bible_text_excluded | | E-066 | partial_evidence | insufficient_evidence | 예수님은 왜 비유로 말씀하셨는가? | `` | - | - | | E-067 | reviewable_candidate | partial_evidence | 예수님의 병 고침과 귀신 축출은 오늘날 어떻게 이해해야 하는가? | 489권 305-306쪽 `vol489-00252` | 귀신, 이해해야 | bible_text_excluded, chunk_has_extraction_warnings | | E-070 | strong_evidence | reviewable_candidate | 예수님은 왜 부자 청년에게 모든 것을 팔라고 하셨는가? | 295권 103-104쪽 `vol295-00084` | 모든, 부자, 청년 | bible_text_excluded, chunk_has_extraction_warnings | | E-073 | strong_evidence | reviewable_candidate | 가룟 유다의 배신은 예정인가 자유 선택인가? | 504권 227-228쪽 `vol504-00185` | 가룟, 유다 | bible_text_excluded | | E-075 | strong_evidence | partial_evidence | 예수님이 하나님께 버림받았다고 외치신 말은 무슨 뜻인가? | 002권 243-243쪽 `vol002-00227` | 뜻인, 하나님께 | bible_text_excluded | | E-076 | reviewable_candidate | partial_evidence | 성소 휘장이 찢어진 사건은 무엇을 의미하는가? | 441권 109-110쪽 `vol441-00081` | 찢어진, 휘장 | bible_text_excluded | | E-077 | strong_evidence | reviewable_candidate | 부활하신 예수님의 몸은 영적인 몸인가 육체적인 몸인가? | 001권 66-67쪽 `vol001-00054` | 몸은, 부활, 영적인 | bible_text_excluded | | E-079 | reviewable_candidate | partial_evidence | 엠마오로 가던 제자들은 왜 예수님을 알아보지 못했는가? | 117권 259-259쪽 `vol117-00234` | 가던, 제자들 | bible_text_excluded | | E-080 | reviewable_candidate | partial_evidence | 예수님은 승천 이후 어디에서 무엇을 하시는가? | 215권 322-323쪽 `vol215-00302` | 승천, 이후 | bible_text_excluded | | E-082 | reviewable_candidate | insufficient_evidence | 성경에서 말하는 방언은 무엇인가? | 086권 97-98쪽 `vol086-00089` | 말하 | bible_text_excluded, low_core_match | | E-084 | reviewable_candidate | partial_evidence | 스데반의 순교는 왜 길게 기록되었는가? | 244권 181-182쪽 `vol244-00148` | 길게, 순교 | bible_text_excluded | | E-086 | strong_evidence | reviewable_candidate | 이방인은 왜 할례 없이 하나님의 백성이 될 수 있었는가? | 054권 63-63쪽 `vol054-00055` | 백성, 없이, 할례 | bible_text_excluded | | E-089 | strong_evidence | reviewable_candidate | 교회가 그리스도의 몸이라는 말은 무슨 뜻인가? | 002권 49-50쪽 `vol002-00044` | 그리스도, 몸이 | bible_text_excluded | | E-090 | strong_evidence | reviewable_candidate | 바울이 여성은 교회에서 잠잠하라고 한 말은 오늘날 어떻게 읽어야 하는가? | 360권 74-75쪽 `vol360-00056` | 바울, 여성 | bible_text_excluded, chunk_has_extraction_warnings | | E-092 | strong_evidence | reviewable_candidate | 예수님의 재림 때와 시기는 왜 감추어져 있는가? | 252권 288-289쪽 `vol252-00241` | 때와, 시기, 재림 | bible_text_excluded | | E-093 | reviewable_candidate | partial_evidence | 천년왕국은 문자적인 천 년인가 상징인가? | 317권 11-12쪽 `vol317-00003` | 년인, 천년왕국 | bible_text_excluded | | E-095 | strong_evidence | reviewable_candidate | 새 하늘과 새 땅은 이 세상의 회복인가 완전히 다른 세계인가? | 044권 175-175쪽 `vol044-00170` | 땅은, 세상, 하늘 | bible_text_excluded | | E-096 | strong_evidence | reviewable_candidate | 지옥은 영원한 형벌인가 하나님과의 단절을 말하는가? | 289권 120-122쪽 `vol289-00103` | 단절, 영원, 지옥 | bible_text_excluded | | E-099 | partial_evidence | insufficient_evidence | 하나님이 후회하거나 분노하신다는 표현은 문자 그대로인가? | `` | - | - | | E-100 | strong_evidence | reviewable_candidate | 성경 전체를 하나의 이야기로 읽는다면 핵심 줄기는 무엇인가? | 290권 78-79쪽 `vol290-00061` | 이야기, 핵심 | bible_text_excluded | | U-001 | strong_evidence | reviewable_candidate | 원리강론을 처음 배우는 사람에게 어떤 순서로 설명해야 하는가? | 091권 121-122쪽 `vol091-00111` | 원리강론, 처음 | - | | U-003 | strong_evidence | partial_evidence | 개성완성·가정완성·주관성완성을 한 문장으로 어떻게 설명할 수 있는가? | 582권 152-153쪽 `vol582-00120` | 가정완성, 문장 | - | | U-004 | strong_evidence | reviewable_candidate | 성장기간과 인간 책임분담을 어떻게 연결해서 가르칠 것인가? | 294권 65-66쪽 `vol294-00043` | 성장기간, 연결해서, 인간 | - | | U-005 | strong_evidence | reviewable_candidate | 책임분담을 강조하면 하나님의 은혜가 약해 보이지 않는가? | 225권 127-128쪽 `vol225-00108` | 보이지, 않는, 책임분담 | - | | U-007 | strong_evidence | partial_evidence | 타락론을 청소년에게 설명할 때 어떤 표현을 피해야 하는가? | 318권 153-154쪽 `vol318-00113` | 설명할, 청소년 | - | | U-010 | strong_evidence | reviewable_candidate | 원리강론과 성경을 함께 읽는 기본 방법은 무엇인가? | 579권 114-115쪽 `vol579-00094` | 원리강론, 읽는 | - | | U-012 | reviewable_candidate | strong_evidence | 참부모 신앙을 개인 신앙고백으로 어떻게 정리할 수 있는가? | 548권 63-64쪽 `vol548-00046` | 개인, 정리할, 참부모 | - | | U-013 | reviewable_candidate | insufficient_evidence | 하늘부모님을 실제 삶에서 어떻게 경험할 수 있는가? | 295권 31-32쪽 `vol295-00022` | 실제 | low_core_match | | U-015 | strong_evidence | reviewable_candidate | 2세·3세에게 신앙을 강요하지 않고 전하려면 어떻게 해야 하는가? | 188권 164-165쪽 `vol188-00154` | 2세, 3세, 않고 | - | | U-017 | reviewable_candidate | partial_evidence | 교회에 실망했을 때 신앙과 조직을 어떻게 구분해야 하는가? | 283권 120-121쪽 `vol283-00093` | 조직 | low_core_match | | U-020 | strong_evidence | reviewable_candidate | 통일교라는 옛 명칭을 누가 물을 때 어떻게 답하면 좋은가? | 367권 173-175쪽 `vol367-00140` | 누가, 물을, 통일교 | - | | U-023 | strong_evidence | reviewable_candidate | 참아버님 말씀과 참어머님 말씀을 함께 어떻게 이해해야 하는가? | 399권 192-192쪽 `vol399-00155` | 참아버님, 참어머님 | - | | U-025 | strong_evidence | reviewable_candidate | 말씀 인용이 문맥을 벗어나지 않게 하려면 어떤 기준이 필요한가? | 482권 79-80쪽 `vol482-00063` | 인용, 하려면 | - | | U-028 | strong_evidence | reviewable_candidate | 참부모님을 사랑하는 것과 비판적 질문을 하는 것은 양립 가능한가? | 386권 132-133쪽 `vol386-00108` | 사랑하, 참부모님 | - | | U-029 | strong_evidence | reviewable_candidate | 말씀을 AI로 검색할 때 어떤 결과를 그대로 믿으면 안 되는가? | 124권 296-296쪽 `vol124-00269` | 결과, 믿으면 | - | | U-030 | strong_evidence | reviewable_candidate | 말씀 기반 답변에 반드시 포함해야 할 출처 표기는 무엇인가? | 070권 93-94쪽 `vol070-00081` | 기반, 반드시 | chunk_has_extraction_warnings | | U-031 | strong_evidence | reviewable_candidate | 축복가정의 사명은 무엇인가? | 276권 49-50쪽 `vol276-00038` | 사명, 축복가정 | - | | U-034 | strong_evidence | reviewable_candidate | 자녀가 교회를 떠나려 할 때 부모는 어떻게 반응해야 하는가? | 605권 186-187쪽 `vol605-00151` | 부모, 자녀 | - | | U-036 | strong_evidence | reviewable_candidate | 가정맹세를 일상에서 어떻게 실천할 수 있는가? | 574권 302-302쪽 `vol574-00250` | 가정맹세, 실천할 | - | | U-038 | strong_evidence | reviewable_candidate | 국제축복가정의 문화 차이를 신앙적으로 어떻게 이해할 것인가? | 207권 44-44쪽 `vol207-00039` | 문화, 이해할, 차이 | - | | U-039 | strong_evidence | reviewable_candidate | 독신 식구나 미축복 식구는 교회 안에서 어떻게 존중되어야 하는가? | 003권 146-147쪽 `vol003-00139` | 식구, 안에서 | - | | U-040 | strong_evidence | reviewable_candidate | 축복가정의 실패나 이혼을 어떻게 바라보아야 하는가? | 177권 198-198쪽 `vol177-00184` | 이혼, 축복가정 | - | | U-041 | strong_evidence | reviewable_candidate | 예배를 왜 계속 드려야 하는가? | 577권 322-323쪽 `vol577-00269` | 계속, 드려야 | chunk_has_extraction_warnings | | U-042 | strong_evidence | reviewable_candidate | 훈독회가 형식화되지 않으려면 어떻게 해야 하는가? | 301권 286-287쪽 `vol301-00241` | 않으려면, 훈독회 | - | | U-045 | reviewable_candidate | partial_evidence | 목회자에게 질문하거나 이견을 말해도 되는가? | 395권 294-294쪽 `vol395-00242` | 말해, 목회자 | - | | U-046 | strong_evidence | reviewable_candidate | 교회 안의 세대 차이를 어떻게 줄일 수 있는가? | 139권 161-162쪽 `vol139-00150` | 세대, 차이 | chunk_has_extraction_warnings | | U-047 | strong_evidence | reviewable_candidate | 새식구가 부담을 느끼지 않게 맞이하려면 무엇을 조심해야 하는가? | 420권 47-47쪽 `vol420-00034` | 느끼지, 않게 | - | | U-048 | strong_evidence | reviewable_candidate | 작은 교회에서 교육과 활동을 어떻게 지속할 수 있는가? | 578권 172-173쪽 `vol578-00135` | 교육, 작은, 활동 | - | | U-049 | reviewable_candidate | partial_evidence | 온라인 예배와 현장 예배를 어떻게 조화시킬 것인가? | 342권 92-92쪽 `vol342-00069` | 예배, 현장 | - | | U-051 | insufficient_evidence | partial_evidence | 개신교인에게 원리강론을 소개할 때 첫 질문은 무엇이 좋을까? | 601권 209-210쪽 `vol601-00176` | 원리강론 | low_core_match | | U-052 | strong_evidence | reviewable_candidate | 가정연합에 대한 이단 질문을 받으면 어떻게 답해야 하는가? | 283권 141-142쪽 `vol283-00112` | 가정연합, 받으면 | - | | U-054 | strong_evidence | partial_evidence | 통일교라는 단어에 거부감이 있는 사람과 어떻게 대화할 것인가? | 574권 306-307쪽 `vol574-00254` | 단어, 통일교 | - | | U-055 | strong_evidence | reviewable_candidate | 축복결혼을 처음 듣는 사람에게 어떤 비유가 적절한가? | 396권 95-95쪽 `vol396-00074` | 듣는, 비유, 처음 | - | | U-057 | reviewable_candidate | partial_evidence | 반박보다 경청이 필요한 질문은 어떻게 구분할 것인가? | 286권 53-55쪽 `vol286-00042` | 경청, 필요 | - | | U-058 | strong_evidence | reviewable_candidate | SNS에서 가정연합 비판 댓글에 어떻게 대응해야 하는가? | 454권 168-170쪽 `vol454-00130` | 가정연합, 비판 | - | | U-059 | strong_evidence | reviewable_candidate | AI가 가정연합을 잘못 설명할 때 어떻게 수정 요청할 수 있는가? | 220권 121-121쪽 `vol220-00109` | 가정연합, 잘못 | - | | U-060 | strong_evidence | reviewable_candidate | 대외 FAQ에서 내부 용어를 얼마나 사용해야 하는가? | 102권 275-275쪽 `vol102-00256` | 얼마나, 용어 | - | | U-062 | strong_evidence | reviewable_candidate | 교회 안에서 질문이 많은 청년을 어떻게 대해야 하는가? | 346권 112-113쪽 `vol346-00080` | 대해야, 많은, 청년 | - | | U-063 | strong_evidence | reviewable_candidate | 축복을 부담으로 느끼는 청년에게 어떻게 설명할 것인가? | 481권 21-21쪽 `vol481-00012` | 느끼, 청년, 축복 | - | | U-064 | strong_evidence | reviewable_candidate | 학업과 취업 경쟁 속에서 신앙 실천은 어떤 의미가 있는가? | 471권 285-286쪽 `vol471-00236` | 속에서, 실천 | - | | U-065 | strong_evidence | reviewable_candidate | 교회 문화가 낡아 보일 때 무엇을 바꾸고 무엇을 지켜야 하는가? | 384권 79-80쪽 `vol384-00063` | 문화, 지켜야 | - | | U-066 | strong_evidence | reviewable_candidate | 2세가 다른 종교나 무종교 친구와 관계 맺을 때 무엇을 기준으로 삼아야 하는가? | 488권 10-10쪽 `vol488-00002` | 2세, 친구 | - | | U-067 | reviewable_candidate | partial_evidence | 신앙을 의심하는 시기는 실패인가 성장 과정인가? | 224권 158-159쪽 `vol224-00143` | 성장, 시기 | - | | U-068 | strong_evidence | reviewable_candidate | 2세 교육에서 교리 암기보다 중요한 것은 무엇인가? | 233권 156-156쪽 `vol233-00145` | 2세, 교리, 교육 | - | | U-069 | reviewable_candidate | partial_evidence | 청년 리더가 교회 의사결정에 참여하려면 어떤 구조가 필요한가? | 523권 188-189쪽 `vol523-00157` | 구조, 리더 | - | | U-070 | strong_evidence | reviewable_candidate | 가정연합 청년이 사회문제에 관심을 가져야 하는 이유는 무엇인가? | 283권 142-143쪽 `vol283-00113` | 가정연합, 청년 | - | | U-072 | strong_evidence | partial_evidence | 혈통복귀를 생물학적 표현으로만 오해하지 않게 하려면 어떻게 해야 하는가? | 595권 88-89쪽 `vol595-00065` | 않게, 하려면 | - | | U-073 | reviewable_candidate | insufficient_evidence | 하늘부모님 성회라는 명칭은 어떤 신학적 의미가 있는가? | `` | - | - | | U-075 | reviewable_candidate | insufficient_evidence | 심정문화는 감정주의와 무엇이 다른가? | 289권 211-212쪽 `vol289-00182` | 심정문화 | low_core_match | | U-077 | reviewable_candidate | partial_evidence | 사위기대는 가족주의로만 이해하면 안 되는 이유는 무엇인가? | 297권 7-10쪽 `vol297-00001` | 사위기대 | low_core_match | | U-078 | reviewable_candidate | insufficient_evidence | 만물주관은 환경윤리와 어떻게 연결될 수 있는가? | 313권 312-313쪽 `vol313-00243` | 연결될 | low_core_match | | U-081 | strong_evidence | reviewable_candidate | 가정연합 역사를 어떤 기준으로 공부해야 하는가? | 477권 300-300쪽 `vol477-00258` | 가정연합, 역사 | - |

판단

이번 보정은 답변 생성 후보를 무리하게 늘리는 것이 아니라, 일반어 오검색과 고유어 누락을 줄이는 데 목적이 있다. 보정 후 `strong_evidence`는 우선 답변 초안 후보로 사용할 수 있고, `reviewable_candidate`는 Top10 근거를 묶어 사람이 검수하는 후보로 보는 것이 적절하다. `partial_evidence`와 `insufficient_evidence`는 추가 문헌 또는 질의 재작성 대상이다.