AI가 지어낸 답 걸러내는 법 — 업무에 쓰기 전 확인 순서

왜 그럴듯한 거짓이 나올까요

AI는 사실을 조회해서 답하는 게 아니라, 질문에 이어질 법한 문장을 만들어내요. 그래서 진짜 지식과 "진짜처럼 보이는 문장"을 스스로 구분하지 못하는 순간이 생겨요. 특히 자료가 적은 주제, 최신 소식, 좁고 구체적인 질문일수록 빈칸을 상상으로 채울 가능성이 커져요.

중요한 건 말투로는 구분이 안 된다는 점이에요. 맞는 답과 틀린 답 모두 확신에 찬 문장으로 나오기 때문에, "자신 있게 말하니까 맞겠지"라는 판단은 통하지 않아요.

이런 답은 일단 의심하세요

모든 답을 다 검증할 수는 없으니, 틀렸을 때 타격이 큰 유형부터 걸러내는 게 현실적이에요. 아래 항목이 답에 들어 있으면 복사해서 쓰기 전에 반드시 원출처를 확인하세요.

특히 법조항 번호, 논문 제목, 기사 링크는 형식까지 완벽하게 지어내는 경우가 있어요. 진짜처럼 생긴 인용일수록 실제로 존재하는지 직접 열어봐야 해요.

• 구체적인 숫자·통계·날짜
• 법조항·규정·판례 번호
• 논문 제목·저자·기관 발표 자료
• URL·기사 링크
• 실존 인물의 발언이나 이력

출처를 요구하는 프롬프트 요령

질문할 때부터 "모르면 모른다고 답해"라는 장치를 넣으면 지어내는 답이 줄어요. 예를 들어 "확실하지 않은 내용은 '확인 필요'라고 표시해 줘. 추측이면 추측이라고 말해 줘"라고 붙이는 식이에요.

자료를 직접 붙여넣고 "이 자료 안에서만 근거를 찾아서 답해 줘. 자료에 없는 내용은 없다고 말해 줘"라고 요청하는 것도 좋은 방법이에요. 답의 근거 범위를 내가 준 자료로 좁히면 지어낼 여지가 확 줄어요.

다만 한계도 알아두세요. "출처를 알려줘"라고 하면 출처 자체를 지어내는 경우가 있어서, AI가 제시한 출처는 그 자체를 검증 대상으로 봐야 해요.

업무에 쓰기 전 확인 순서

검증은 복잡할 필요 없어요. 첫째, 답에서 사실 주장만 골라내세요. 의견이나 정리 방식은 틀려도 큰 문제가 없지만, 숫자·규정·인용은 다릅니다. 둘째, 그 사실 주장을 검색해서 원출처(공식 사이트, 원문, 공시 자료)로 확인하세요. AI가 말한 내용을 다시 AI에게 "맞아?"라고 묻는 건 검증이 아니에요.

셋째, 새 대화창을 열고 같은 질문을 다르게 물어보는 것도 간단한 점검법이에요. 답이 매번 달라지면 그 부분은 지어냈을 가능성이 높아요. 마지막으로, 확인이 안 된 내용은 문서에서 빼거나 '확인 중'으로 표시하고 넘어가세요.

그리고 절대 AI 답만 믿고 결정하면 안 되는 영역이 있어요. 법률, 세무, 의료, 계약 조건, 그리고 회사 이름으로 외부에 나가는 문서예요. 이 영역은 AI를 초안·정리 도구로만 쓰고, 최종 판단은 반드시 담당 부서나 전문가를 거치세요.

• 사실 주장(숫자·규정·인용)만 골라내기
• 원출처에서 직접 확인 — AI에게 재확인은 검증 아님
• 새 대화에서 같은 질문 다시 물어 일관성 점검
• 확인 안 된 내용은 빼거나 '확인 중' 표시
• 법률·세무·의료·계약·대외 문서는 전문가 최종 확인

자주 묻는 질문

이어서 읽으면 좋은 글