AI 답변, 어디까지 믿을까 — 실무자를 위한 사실 검증 5단계

AI가 알려준 통계를 보고서에 넣었는데, 회의에서 출처를 묻는 순간 그런 자료가 없다는 걸 알게 됩니다. 숫자는 그럴듯했고, 문장은 자신 있었고, 형식은 완벽했습니다.

AI 환각이 위험한 이유는 틀렸기 때문이 아니라 틀린 티가 안 나기 때문입니다. 사람이 모르는 걸 말할 때는 대개 표시가 납니다. 말끝이 흐려지거나 "아마"가 붙습니다. AI는 아는 것과 지어낸 것을 같은 어조로 말합니다.

환각을 완전히 없애는 방법은 아직 없습니다. 대신 실무에서 필요한 건 다른 것입니다. 틀린 정보가 내 업무로 새어 나가지 않게 하는 절차입니다. 5단계면 충분합니다.

flowchart LR
  A([AI 답변]) --> S1[1 위험도 분류]
  S1 --> S2[2 되묻기]
  S2 --> S3[3 출처 확인]
  S3 --> S4[4 교차 검증]
  S4 --> S5[5 기록]
  S5 --> U([업무 반영])

1단계. 위험도부터 나눈다 — 전부 검증하지 않는다

모든 답변을 검증하려 들면 AI를 쓰는 의미가 사라집니다. 먼저 나눠야 합니다.

• 검증 불필요: 문장 다듬기, 아이디어 나열, 초안 구조 잡기. 내가 판단 주체이고 사실 주장이 없습니다.
• 가볍게 확인: 일반적 개념 설명, 절차 안내. 내가 아는 범위에서 어색한 곳만 봅니다.
• 반드시 검증: 숫자, 날짜, 고유명사, 법 조항, 인용문, 가격, 사람 이름. 구체적일수록 지어냈을 때 티가 안 납니다.

실무 기준으로는 이렇게 기억하면 편합니다. 남에게 근거로 제시할 것만 검증한다. 내부 사고 정리에 쓰는 것은 굳이 확인하지 않아도 됩니다.

2단계. 같은 AI에게 되묻는다

가장 값싸고 효과가 큰 단계입니다. 답변을 받은 뒤 이렇게 되묻습니다.

방금 답변의 각 문장을 ① 내가 제공한 자료에 근거가 있는 것 ② 일반 지식으로 채운 것 ③ 추측인 것으로 분류하라. ②와 ③은 삭제한 최종본을 다시 제시하라.

모델은 자기 답변을 검토할 때 생성할 때보다 보수적으로 판단하는 경향이 있습니다. 이 한 번의 왕복만으로 근거 없는 문장의 상당수가 스스로 걸러집니다. 특히 내가 자료를 붙여 넣은 경우 효과가 큽니다.

주의할 점은, 이 단계가 검증이 아니라 선별이라는 겁니다. AI가 "근거 있음"이라고 표시한 것도 여전히 확인 대상입니다.

3단계. 출처를 요구하고, 출처를 확인한다

"출처를 알려줘"라고 하면 AI는 출처를 만들어냅니다. 존재하지 않는 보고서 제목과 그럴듯한 연도까지 붙습니다. 그래서 이 단계의 핵심은 요구가 아니라 확인입니다.

• 링크가 나왔다면 직접 열어봅니다. 열리는지, 그리고 그 안에 정말 그 내용이 있는지.
• 기관·보고서 이름만 나왔다면 그 이름으로 따로 검색합니다. 검색에 안 나오면 없는 자료로 취급합니다.
• 숫자가 핵심이라면 원 자료의 숫자를 직접 확인합니다. 요약 과정에서 반올림·오독이 흔합니다.

검색 기능이 붙은 AI라도 이 단계는 필요합니다. 검색은 했지만 읽은 내용과 다르게 요약하는 경우가 있기 때문입니다.

4단계. 다른 경로로 한 번 더 본다

중요한 사실은 다른 AI나 검색으로 한 번 더 확인합니다. 같은 질문을 다른 모델에 던졌을 때 답이 갈리면, 그 지점이 바로 불확실한 영역입니다.

더 간단한 방법도 있습니다. 질문을 반대로 던지는 것입니다. "A가 맞나요?" 대신 "A가 틀렸다는 근거가 있나요?"라고 물으면, 모델이 사용자에게 동조하려는 경향을 우회할 수 있습니다.

5단계. 무엇을 AI로 만들었는지 기록한다

가장 자주 생략되고, 사고가 났을 때 가장 아쉬운 단계입니다. 문서 하단이나 메모에 한 줄이면 충분합니다.

3장 통계 부분: AI 초안 → 원 자료 확인 완료(2026-08-10) / 5장 전망: AI 초안, 미검증

이 한 줄이 나중에 두 가지를 지켜줍니다. 오류가 발견됐을 때 어디까지 다시 봐야 하는지 범위를 좁혀 주고, 검증한 부분에 대해서는 스스로를 방어할 수 있게 해줍니다.

가장 위험한 순간은 '거의 맞을 때'

완전히 틀린 답은 오히려 안전합니다. 바로 눈에 띄니까요. 실무에서 사고를 만드는 건 90% 맞고 10%가 틀린 답입니다. 검토하는 사람의 주의가 앞의 90%에서 이미 소진되기 때문입니다.

그래서 검증은 '전체를 다시 읽기'가 아니라 구체적인 것만 골라 보기여야 합니다. 숫자·날짜·이름·인용. 이 네 가지에만 집중해도 실무 사고의 대부분은 막힙니다.

정리

AI 답변 검증은 AI를 못 믿어서 하는 일이 아니라, AI를 계속 쓰기 위해 하는 일입니다. 검증 절차가 있으면 더 과감하게 쓸 수 있고, 없으면 결국 조심하다 안 쓰게 됩니다. 위험도를 나누고, 되묻고, 출처를 확인하고, 다른 경로로 보고, 기록하는 것. 익숙해지면 건당 2~3분입니다.