description: 주장을 근거와 엄격히 분리하고, 증거 계층(GRADE/CEBM)·브래드퍼드 힐 9대 인과 기준·경쟁 가설 분석(ACH)을 적용해 데이터와 보고서의 논리적 비약과 허위 상관을 가려냅니다. 사용자가 제안서, 보고서, A/B 테스트 결과, 데이터 분석, 연구 논문, 기사의 주장을 검증하거나 상관과 인과를 구분하려 할 때 반드시 이 스킬을 사용하십시오.
title: 증거 점검(Evidence Audit)
homepage: https://prompts.onlinetoolstorage.com/skills/claims/evidence-audit/
updated: "2026-09-25T22:35:22.000Z"
그럴듯한 문장과 화려한 차트로 포장된 보고서나 제안서도, 주장을 지탱하는 실질적인 근거를 뜯어보면 단순한 상관관계의 과장이나 일화적 확신에 불과한 경우가 많습니다.
이 스킬은 결론의 수사학적 설득력에 속지 않고, [증거 평가](https://prompts.onlinetoolstorage.com/methods/evidence-evaluation/) 방법론에 따라 **주장과 근거를 엄격히 분리**합니다. 의학 및 과학계의 표준인 증거 계층(GRADE/CEBM), 역학의 브래드퍼드 힐(Bradford Hill) 인과 9대 기준, 정보분석의 경쟁 가설 분석(ACH)을 적용하여 **"이 데이터가 결론을 실제로 얼마나 지지하는가?"**를 객관적으로 검증합니다. 나아가 누락된 증거(침묵하는 증거)와 대안적 설명을 파헤쳐, 잘못된 증거에 기반한 치명적인 의사결정을 사전에 차단합니다.
- A/B 테스트나 제품 지표 개선 보고서에서 "기능 X 변경이 결제율을 Y% 올렸다"는 인과 주장을 검증할 때
- 외부 리서치 보고서, 컨설팅 제안서, 학술 논문의 결론을 기업 전략에 도입하기 전
- 두 지표가 함께 움직였다(상관관계)는 데이터로 대규모 예산 투자를 결정하려 할 때
- 서로 상반된 데이터와 주장이 충돌하여 어느 쪽의 증거력이 더 우세한지 판정해야 할 때
- 팀 내 의사결정에서 권위자의 의견이나 단편적 성공 사례(일화)가 데이터로 둔갑하고 있을 때
1. **검토할 대상 명제/문서**: 분석하고자 하는 핵심 주장과 제시된 근거 문장 (원문 텍스트, 보고서 요약, 또는 회의 발언)
2. **이 주장으로 내리려는 결정**: 해당 주장을 수용할 경우 실행하게 될 계획이나 투자 (선택 사항)
3. **추가 데이터/맥락**: 데이터 수집 기간, 표본 크기, 동시 진행된 이벤트, 실험 환경 등 (선택 사항)
검토할 명제나 데이터가 지나치게 모호한 경우("우리 서비스 분석해줘" 등), 가상의 데이터를 임의로 지어내지 마십시오. 대신 다음 3가지를 명확히 묻고 진행하십시오:
- 검증하고 싶은 핵심 주장(예: "기능 A가 잔존율을 높였다")
- 그 주장의 근거로 제시된 데이터나 관찰 사실
분석을 수행할 때 다음 5단계를 건너뛰지 말고 순서대로 점검하십시오:
- [ ] **1. 주장 분해 및 성격 분류**: 결론 문장을 원자 단위로 쪼개고, 주장의 성격(① 단순 기술, ② 상관관계, ③ 인과관계, ④ 미래 예측)을 명시적으로 구분합니다.
- [ ] **2. 증거 계층 및 품질 감사**: 각 주장에 연결된 근거를 추출하고, 증거 계층 피라미드(Level 1~5)와 데이터 수집의 편향(표본 크기, 생존 편향, 이해관계 상충)을 평가합니다.
- [ ] **3. 브래드퍼드 힐 9대 인과성 필터링**: 주장이 '인과관계'를 함의할 경우, 시간적 선후관계, 연관 강도, 용량-반응 관계, 실험적 입증, 대안 설명 배제 여부를 엄격히 검증합니다.
- [ ] **4. 경쟁 가설 분석(ACH) 및 대안 설명**: 제시된 증거를 동일하게 설명할 수 있는 제3의 요인(외부 변수, 계절성, 자연 회귀, 체리피킹)을 최소 2개 이상 도출하고 가설-증거 정합성을 대조합니다.
- [ ] **5. 누락된 증거 식별 및 최종 확신도 판정**: 주장이 참이라면 반드시 존재해야 하나 누락된 '침묵하는 증거'와 반대 증거를 명시하고, 최종 증거력 수준(충분 / 조건부 지지 / 근거 미흡 / 기각)을 확정합니다.
분석 결과는 반드시 아래 구조화된 마크다운 템플릿에 맞춰 출력하십시오:
# 🔬 증거 점검 감사 보고서 (Evidence Audit)
- **검토 대상 핵심 주장**: [원문에서 식별된 구체적 결론 문장]
- **주장 유형**: [단순 서술 / 상관관계 주장 / 인과관계 주장 / 미래 예측]
- **주장의 야심 수준 (Claim Scope)**: [통상적 주장 / 입증 책임이 매우 높은 특별한 주장(Extraordinary Claim)]
## 2. 제시된 증거 및 품질 계층 (Evidence Hierarchy)
| 증거 번호 | 제시된 증거 내용 | 증거 수준 (Level 1~5) | 출처 신뢰도 및 이해관계 | 수집 방법 및 편향 위험 |
|:---:|:---|:---:|:---|:---|
| E-1 | [제시된 데이터/수치] | [Level 1: 메타분석 ~ Level 5: 일화] | [독립적 데이터 / 자사 이해관계 등] | [선택 편향, 작은 표본, 체리피킹 등] |
## 3. 인과관계 검증 (Bradford Hill Criteria Filter)
*(인과적 주장이 아닌 경우 생략하거나 해당 항목만 표기)*
1. **시간적 선후관계 (Temporality)**: [충족 / 미충족 / 불명확] — 원인이 결과보다 명백히 앞서는가?
2. **연관의 강도 (Strength)**: [충족 / 보통 / 미흡] — 효과의 크기가 외생 잡음을 압도할 만큼 유의미한가?
3. **용량-반응 관계 (Dose-Response)**: [확인됨 / 미확인 / 해당없음] — 노출량이 늘어날수록 효과도 비례하는가?
4. **실험적 입증 (Experiment)**: [RCT 존재 / 준실험 / 단순 관찰] — 롤백이나 대조군 테스트가 존재하는가?
5. **대안 설명 배제 (Plausibility & Specificity)**: [완전 통제 / 혼란 변수 존재] — 다른 변수들의 영향이 제거되었는가?
## 4. 대안 가설 및 경쟁 가설 분석 (ACH)
제시된 결과를 설명할 수 있는 경쟁 가설들과 증거의 일치 여부:
- **가설 1 (원안)**: [원문이 주장하는 인과 관계] → 불일치 증거: [있음/없음]
- **가설 2 (외생 변수/계절성)**: [예: 프로모션, 성수기, 시장 전체의 성장] → 정합도: [높음/보통]
- **가설 3 (선택 편향/자연 회귀)**: [예: 애초에 결제할 고객만 해당 기능을 썼음] → 정합도: [높음/보통]
## 5. 침묵하는 증거 (누락된 증거 & 반대 증거)
- **주장이 사실이라면 마땅히 관찰되어야 할 증거**:
- [누락 증거 1: 예 - 대조군의 동기간 전환율 데이터]
- [누락 증거 2: 예 - 기능 도입 전후의 이탈률 변화]
- **확인된 반대 증거 또는 잠재적 모순**:
- **최종 증거력 판정**: [충분히 입증됨 (Sufficient) / 조건부 지지 (Contingent) / 근거 미흡 (Insufficient) / 기각 (Refuted)]
- **판정 요약**: [핵심 논리적 결함 또는 지지 근거 요약]
- **실행 전 필수 확인 질문 (Actionable Inquiries)**:
1. [결정을 내리기 전 실무진이나 작성자에게 반드시 요구해야 할 추가 데이터/실험]
2. [모르는 영역으로 남아 있는 불확실성 해소 방안]
1. **상관관계를 인과관계로 절대 도약시키지 않는다**:
- 두 지표의 동시 변화는 가설의 시작일 뿐 결론이 될 수 없습니다. 대조군(Control Group)이 없거나 혼란 변수가 통제되지 않은 관찰 데이터는 반드시 "인과 입증 불가(상관관계에 불과)"로 지적하십시오.
2. **없는 데이터와 통계를 날조하지 않는다**:
- 제시되지 않은 연구 결과, 수치, 외부 벤치마크를 임의로 지어내지 마십시오. 정보가 없으면 "데이터 부재(확인 불가)"로 기록하고 질문으로 남겨야 합니다.
3. **'증거 부재'를 '위험 없음'으로 간주하지 않는다**:
- "문제점이 보고되지 않았다"는 주장이 들어왔을 때, 그것이 "실제로 문제가 없는 것"인지 "측정 시스템이 없어서 모르는 것"인지를 엄격히 구분하여 지적하십시오.
4. **권위에 굴복하지 않고 방법론을 본다**:
- 유명 컨설팅 기관, 권위 있는 학술 기관, 고위 임원의 주장이더라도, 표본의 대표성과 분석 방법론의 한계가 있다면 냉정하게 증거 계층(Level 4~5)으로 분류하십시오.
- **검토할 주장**: "우리 앱에 신규 온보딩 튜토리얼을 배포한 지난 11월, 첫 달 유료 구독 전환율이 전월 대비 35% 급증했습니다. 따라서 신규 튜토리얼이 유료 결제를 강력하게 견인하고 있음이 증명되었으므로, 모든 플랫폼에 전면 강제 적용해야 합니다."
- **추가 맥락**: 11월에는 연중 최대 할인 행사인 블랙프라이데이 프로모션이 전사적으로 진행되었음.
- **주장 성격**: 튜토리얼 배포(A)가 결제율 급증(B)을 일으켰다는 전형적인 '인과관계 주장'.
- 시간적 선후관계는 충족되었으나, **대안 설명 배제(Confounder Control)가 완전히 실패**함.
- 11월에 동시에 진행된 '블랙프라이데이 전사 할인'이라는 거대한 교란 변수가 존재함.
- 가설 A: 튜토리얼의 설득력으로 전환율 증가.
- 가설 B: 블랙프라이데이 파격 할인으로 인한 자연스러운 결제 급증.
- 튜토리얼을 완료한 유저 집단과 튜토리얼을 스킵(Skip)한 유저 집단 간의 전환율 비교 데이터 누락.
- 할인 혜택을 받지 않은 일반 상품의 전환율 변화 데이터 누락.
- **최종 판정**: **근거 미흡 (Insufficient)**. 블랙프라이데이 효과를 분리하는 A/B 대조군 재실험 없이는 전면 강제 적용을 보류하도록 권고.
- **사전 가정의 무결성 검증**: 증거를 평가하기 전에 주장에 깔린 전제 자체가 성립하는지 보려면 [전제 점검(Assumption Audit)](https://prompts.onlinetoolstorage.com/skills/claims/assumption-audit/)을 먼저 수행하십시오.
- **시장 통계 및 확률적 현실성**: 주장에 제시된 성공 확률이 전체 업계의 객관적 기저율과 일치하는지 비교하려면 [기저율 점검(Base Rate Check)](https://prompts.onlinetoolstorage.com/skills/claims/base-rate-check/)을 함께 사용하십시오.
- **작성자의 이해관계 및 인지 오류 추적**: 주장을 내놓은 분석가나 제안자의 사익 추구나 확증 편향을 진단하려면 [판단 편향 점검(Bias Audit)](https://prompts.onlinetoolstorage.com/skills/claims/bias-audit/)을 병행하십시오.
이 스킬이 기대는 사고법입니다. 정의나 적용 방법을 확인해야 할 때 읽습니다.
- [증거 평가(Evidence Evaluation)](https://prompts.onlinetoolstorage.com/methods/evidence-evaluation/)