📌 3줄 요약
- 생성형 AI의 환각은 모델 구조 특성에서 비롯된 필연적 현상이다.
- 숫자·법령·출처가 포함된 답변은 반드시 원문 자료로 재확인해야 한다.
- 확인 습관과 출처 요구 프롬프트를 함께 쓰면 오류를 줄일 수 있다.
재난안전 업무에서 생성형 AI를 쓰다 보면 이런 일이 생깁니다. 홍수 대피 기준 거리를 물었더니 AI가 법령 조항 번호까지 들어 자신 있게 대답합니다. 문장도 매끄럽고, 구조도 그럴듯합니다. 그런데 실제 법령을 국가법령정보센터에서 검색해 보면 그 조항이 없거나, 숫자가 다릅니다. AI가 거짓말을 하려고 만든 답이 아닙니다. 모델 자체의 작동 방식에서 이런 오류가 생깁니다.
이 현상을 '환각(Hallucination)'이라고 부릅니다. AI가 없는 정보를 있는 것처럼 그럴듯하게 만들어 내는 것을 뜻하는 용어입니다. 환각이 생기는 이유를 알고, 어떤 항목을 반드시 확인해야 하는지 기준을 세워 두면, AI를 훨씬 안전하게 쓸 수 있습니다. 이번 글에서는 그 원리와 확인 습관을 실무 관점에서 짚어 보겠습니다.
🤔 환각은 왜 생기나요? AI가 일부러 속이는 건가요?
생성형 AI는 '다음에 올 가능성이 높은 단어'를 계속 이어 붙이는 방식으로 문장을 만듭니다. 방대한 텍스트를 학습해 언어 패턴을 익힌 것이지, 사실 데이터베이스를 검색하는 구조가 아닙니다. 그러다 보니 질문에 어울리는 형태의 답을 생성하는 과정에서 실제로 존재하지 않는 숫자, 논문 제목, 조항 번호가 만들어지기도 합니다. 틀린 내용이더라도 문체와 형식이 자연스럽기 때문에 독자가 걸러내기 어렵습니다. 의도적인 거짓이 아니라 구조적 한계입니다. 재난 상황에서는 대피 거리, 경보 발령 기준, 법적 의무 조항 같은 정보가 잘못 전달되면 직접적인 피해로 이어질 수 있으므로, 이 특성을 먼저 이해하는 것이 중요합니다.
🔍 어떤 종류의 답변을 특히 의심해야 하나요?
모든 답변을 일일이 검증하기는 어렵습니다. 우선순위를 두어야 합니다. 확인 없이 그대로 쓰면 안 되는 항목은 다음과 같습니다. 첫째, 법령 조항 번호와 내용입니다. 재난안전법, 자연재해대책법, 급경사지법 등은 개정이 잦아서 AI가 학습한 시점과 현재가 다를 수 있습니다. 둘째, 통계 수치와 연도입니다. 피해 규모, 사망자 수, 발생 빈도 같은 숫자는 출처 없이 신뢰할 수 없습니다. 셋째, 기관명과 담당 부서입니다. 조직 개편으로 이름이 바뀐 경우가 많습니다. 넷째, 인용 논문이나 보고서 제목과 저자입니다. 아예 존재하지 않는 문헌이 만들어지는 경우가 드물지 않습니다. 산사태 위험 등급 기준이나 홍수 예보 발령 조건처럼 수치가 기준이 되는 항목은 반드시 원문 고시나 지침서에서 확인하세요.
📋 출처를 요구하는 프롬프트는 어떻게 써야 하나요?
출처를 함께 달라고 요청하면 AI가 참고 자료처럼 보이는 목록을 붙여 주기도 합니다. 그런데 그 목록도 환각일 수 있습니다. 그래서 프롬프트에 출처를 요구할 때는 두 가지를 함께 적는 것이 좋습니다. 하나는 "출처를 모를 경우 솔직하게 모른다고 써 달라"는 지시이고, 다른 하나는 "내가 확인할 수 있는 공개 문서 이름이나 기관 사이트를 함께 알려 달라"는 요청입니다. 이렇게 하면 AI가 그럴듯한 가짜 출처를 만들 여지가 줄고, 독자가 직접 검색할 방향을 잡을 수 있습니다. 재난안전 문서를 작성할 때는 AI가 제시한 법령 이름을 국가법령정보센터(law.go.kr)에서 직접 검색해 조항 내용을 대조하는 것을 습관으로 만드세요.
✅ 받은 답변을 직접 검증하는 절차가 있나요?
해봐야 아는 것이 있습니다. AI에게 같은 질문을 맥락 없이 한 번, 역할과 조건을 구체적으로 준 다음 한 번, 총 두 번 물어보세요. 그리고 두 답변에서 숫자나 조항이 일치하는지 비교합니다. 일치하지 않는다면 둘 다 신뢰하면 안 됩니다. 일치하더라도 원문 자료를 확인하기 전까지는 초안 수준으로만 다루어야 합니다. 확인 순서를 간단히 정리하면 이렇습니다. 법령은 국가법령정보센터, 통계는 출처 기관 공식 사이트, 사업 지침은 해당 부처 공문이나 고시로 확인합니다. 특히 산불 진화 인력 기준이나 홍수 대피령 발령 요건처럼 행정적 판단의 근거가 되는 항목은, AI 답변을 초안으로만 쓰고 반드시 원문에서 재확인하는 두 단계 절차를 유지하세요.
🗂️ AI를 믿고 쓸 수 있는 부분과 그렇지 않은 부분은 어떻게 나누나요?
생성형 AI가 상대적으로 잘하는 영역이 있습니다. 이미 내가 가진 내용을 다른 표현으로 정리하거나, 문장 흐름을 자연스럽게 다듬거나, 항목별 체크리스트 형식으로 바꾸는 일입니다. 반대로 새로운 사실을 생성하거나, 특정 시점의 최신 현황을 알려주거나, 법적 효력이 있는 정보를 정확하게 인용하는 일은 AI에게 맡기기 어렵습니다. 실무에서 이 선을 그을 때는 간단한 기준 하나를 쓸 수 있습니다. '내가 이 내용을 직접 확인할 경로가 있는가?' 경로가 있으면 AI 초안을 바탕으로 확인하면 됩니다. 경로가 없거나 불분명하다면 그 내용 자체를 문서에 포함시키지 않는 것이 안전합니다. 대피 계획서나 훈련 결과 보고서에서 잘못된 수치가 들어가면, 다음 훈련 설계나 실제 대응 체계에 오류가 그대로 누적됩니다.
🖥️ 화면에서 따라하기
- 새 대화 시작
AI 도구 화면에서 새 대화(New Chat) 버튼을 눌러 이전 맥락 없이 시작한다. - 역할·맥락 입력
첫 메시지에 "나는 재난안전 담당자이고, [주제] 관련 초안을 쓰려 한다"를 먼저 입력한다. - 출처 조건 지정
같은 메시지에 "모르는 내용은 모른다고 써 달라, 법령 이름은 확인 가능한 것만"을 추가한다. - 답변 수령 후 분리
받은 답변에서 숫자·법령 조항·기관명을 색깔펜으로 따로 표시해 목록을 만든다. - 원문 대조 확인
법령은 law.go.kr, 통계는 출처 기관 사이트에서 직접 검색해 항목별로 맞는지 확인한다. - 재요청(필요시)
틀린 항목을 발견하면 같은 대화에서 "이 부분은 [원문 내용]으로 수정해 달라"고 입력한다.
※ 프로그램 버전에 따라 메뉴 이름이 조금씩 다를 수 있습니다.
✍️ 그대로 복사해 쓰는 프롬프트
막연하게 요청했을 때 어떤 답이 나오는지 확인용 (비교 기준)
[재난 종류]와 관련된 대피 기준을 알려줘.
맥락과 조건을 준 요청으로, 환각 가능성을 줄이고 검증 방향을 함께 얻는 프롬프트
너는 재난안전 분야 문서 작성을 돕는 보조자야. 나는 [기관명] 소속 재난안전 담당자이고, [재난 종류] 관련 대피 기준을 내부 보고서 초안에 활용하려 해. 아래 조건을 반드시 지켜줘. 1. 법령 조항 번호나 고시 제목은 네가 확인하지 못한 경우 "확인 필요"라고 표시해. 2. 수치가 들어간 항목마다 "출처: [확인 가능한 기관 또는 문서명]"을 한 줄로 달아줘. 3. 최신 개정 여부는 알 수 없으므로, 독자가 law.go.kr에서 재확인해야 한다는 안내를 마지막에 한 줄 넣어줘. 4. 내가 직접 확인해야 할 항목을 답변 끝에 별도 목록으로 정리해줘. 출력 형식은 항목별 표 또는 번호 목록으로 해줘. 결과를 한글 문서로 받고 싶으면 답변 마지막에 "위 내용을 hwpx 형식으로 내려받을 수 있게 파일로 만들어 줘"라고 추가 요청하면 됩니다(도구에 따라 지원 여부가 다릅니다).
※ 대괄호 부분을 상황에 맞게 바꿔서 쓰세요. 받은 답은 그대로 쓰지 말고 사실 확인을 거치세요.
🧪 직접 해보기
- AI에게 아무 조건 없이 재난 관련 법령 조항을 물어보고, 그 답변을 law.go.kr에서 직접 검색해 일치 여부를 확인해 본다.
- 위에 제시한 '맥락을 준 프롬프트'를 복사해 직접 붙여 넣고, 막연한 요청과 결과가 얼마나 다른지 비교해 본다.
- AI가 준 답변에서 숫자가 포함된 문장만 골라 목록으로 만들고, 그중 하나라도 원문과 다른 항목이 있는지 확인해 본다.
❓ 자주 묻는 질문
Q. AI가 출처를 달아줬는데 그것도 믿으면 안 되나요?
A. AI가 제시한 출처는 실제로 존재하지 않는 경우가 있습니다. 출처 이름을 받았다면, 그 이름을 직접 검색해 문서가 실제로 있는지 확인하는 것이 필수입니다. 출처 목록이 있어도 검증 절차는 생략할 수 없습니다.
Q. 환각을 완전히 없애는 프롬프트 방법이 있나요?
A. 완전히 없애는 방법은 현재 알려진 것이 없습니다. 조건을 구체적으로 줄수록, 모르면 모른다고 표시하도록 요청할수록 오류가 줄어드는 경향이 있지만, 어느 도구든 확인 절차를 대체하지는 못합니다.
Q. 재난안전 문서에서 AI 답변을 그대로 쓰면 어떤 문제가 생기나요?
A. 잘못된 법령 조항이나 수치가 공식 문서에 들어가면 행정적 오류나 현장 대응 혼선으로 이어질 수 있습니다. 대피 기준, 경보 발령 조건, 담당 기관 정보 등은 반드시 원문을 확인한 후 문서에 반영해야 합니다.
생성형 AI는 문서 초안을 빠르게 잡거나, 복잡한 내용을 읽기 쉽게 다듬는 데 분명히 유용합니다. 그런데 그 편리함 뒤에는 구조적으로 오류가 끼어들 수 있다는 사실을 늘 기억해야 합니다. 특히 재난안전 분야에서는 작은 숫자 하나, 조항 번호 하나가 현장 대응과 직결됩니다. AI를 쓸수록 확인 습관이 더 중요해지는 이유가 여기 있습니다. 환각을 걸러내는 습관이 자리를 잡으면, 다음으로 자연스럽게 떠오르는 질문이 있습니다. AI와 대화를 이어가면서 이전 맥락을 어떻게 유지하고, 긴 문서 작업을 끊기지 않게 하려면 어떻게 해야 할까요?
생성형AI 사용법 시리즈 3편 · 전체 15편
재난안전과 GeoAI 이야기를 더 보고 싶다면 아래 채널도 함께 보세요.
📌 바로가기
