
정확도 평가와 혼동행렬은 분석 결과를 실제 정답과 표로 맞대어 어디서 맞고 어떻게 틀렸는지 보여 주는 검증 방법입니다. 드문 재난은 전체 정확도만으로는 놓침을 가릴 수 있어 미탐과 오탐을 따로 봐야 합니다.
📌 3줄 요약
- 검증 표본은 학습에 쓰지 않은 것으로 따로 둔다
- 혼동행렬로 맞힌 곳과 틀린 종류를 함께 본다
- 드문 재난은 정확도보다 미탐과 오탐을 따진다
침수 지역을 자동으로 찾아내는 모델을 만들었더니 "정확도 98%"라는 결과가 나왔다고 해 봅시다. 보고서에 적기에 근사한 숫자지만, 정작 지난 호우 때 물에 잠긴 마을을 모델이 짚어 냈는지는 이 숫자만으로 알 수 없습니다.
분석 결과를 믿고 대피 계획이나 순찰 구역을 정하려면 "얼마나 맞았나"보다 "무엇을 어떻게 틀렸나"를 알아야 합니다. 이번 글에서는 검증 표본을 따로 두는 이유, 혼동행렬을 읽는 법, 놓침과 헛경보 중 무엇을 더 줄여야 하는지를 차례로 풀어 봅니다.

🧪 검증 표본은 왜 따로 떼어 두어야 하나요?
모델을 만들 때 쓴 표본으로 다시 점수를 매기면 시험 문제를 미리 보고 시험을 치르는 것과 같습니다. 모델이 정답을 외우듯 맞히기 때문에 점수가 실제보다 높게 나옵니다. 그래서 표본을 훈련용과 검증용으로 나누고, 검증용은 학습 과정에서 전혀 쓰지 않아야 합니다. 공간 자료는 한 가지 더 조심할 점이 있습니다. 가까운 지점끼리는 값이 비슷해서, 무작위로 나누면 훈련 지점 바로 옆의 검증 지점이 사실상 같은 문제가 됩니다. 가능하면 지역이나 사건 단위로 나누는 편이 안전합니다. 예를 들어 어느 해의 수해 지역으로 학습했다면, 다른 해나 다른 하천 유역의 침수 흔적으로 검증해야 현장에서 통하는 점수를 얻습니다.
📊 혼동행렬은 어떻게 읽나요?
혼동행렬은 정답과 예측을 가로세로로 맞춘 작은 표입니다. 침수 탐지라면 실제 침수를 침수라고 맞힌 칸이 참양성, 실제 침수를 아니라고 한 칸이 미탐(놓침), 멀쩡한 곳을 침수라고 한 칸이 오탐(헛경보), 멀쩡한 곳을 멀쩡하다고 한 칸이 참음성입니다. 보통 행이 실제, 열이 예측이지만 도구마다 반대로 놓기도 하니 표를 보기 전에 축 이름부터 확인하세요. 대각선 칸이 맞힌 곳이고 나머지가 틀린 곳이며, 틀린 칸의 위치를 보면 어떤 방향으로 틀리는지 알 수 있습니다. 산사태 위험 등급 지도라면 어느 등급이 어느 등급으로 섞이는지 드러나, 어떤 자료를 보완할지 정하는 근거가 됩니다.
⚠️ 정확도가 높은데도 쓸모없을 수 있나요?
가상의 예로, 1,000개 격자 중 실제 침수는 20개뿐이라고 해 봅시다. 모든 격자를 침수 아님이라고 답하는 모델도 980개를 맞혀 전체 정확도가 98%로 나옵니다. 그러나 침수는 하나도 찾지 못했으니 재난 업무에서는 쓸모가 없습니다. 산불, 산사태, 침수처럼 드문 사건은 대부분이 정상 지역이라서 전체 정확도가 쉽게 부풀려집니다. 그래서 전체 정확도 옆에 사건 클래스만의 지표를 반드시 함께 봐야 합니다. 보고서에 점수 하나만 적혀 있다면 혼동행렬과 표본의 클래스 비율을 요청하세요. 이 비율을 모르면 숫자를 해석할 수 없고, 의사결정자에게 막연한 안심을 줄 수 있습니다.
🚨 재난 탐지에서는 놓침과 헛경보 중 무엇을 더 줄여야 하나요?
미탐은 실제 재난을 놓친 것이고, 오탐은 없는 재난을 있다고 한 것입니다. 어느 쪽을 더 줄일지는 기계가 아니라 업무가 정합니다. 놓치면 인명 피해로 이어지는 대피 판단에서는 미탐을 먼저 줄이는 쪽이 일반적입니다. 다만 오탐이 너무 많으면 헛경보가 반복되어 경보가 무시되고, 출동 인력과 대피 비용도 낭비됩니다. 판정 기준값(재난으로 볼 점수의 경계)을 낮추면 미탐은 줄지만 오탐이 늘어나는 맞교환 관계이므로, 두 오류를 함께 보며 기준을 정합니다. 1차 선별은 미탐을 줄이도록 느슨하게 하고, 사람이 위성영상이나 현장 보고로 확인하는 2차 단계에서 오탐을 걸러 내면 현실적입니다.
🎯 재현율과 정밀도는 무엇이고, 직접 어떻게 확인하나요?
재현율은 실제 재난 중 찾아낸 비율로 미탐의 반대편이고, 정밀도는 재난이라고 한 것 중 진짜의 비율로 오탐의 반대편입니다. F1은 둘을 하나로 묶은 값이지만 어느 쪽이 부족한지 가리므로 따로 함께 보세요. 해봐야 아는 것이 있습니다. 먼저 검증 정답이 현장 조사나 신고 기록 같은 실제 자료인지 확인합니다. 다른 모델의 결과가 정답이라면 검증이 아닙니다. 다음으로 기준값을 바꿔 가며 혼동행렬이 어떻게 달라지는지 비교하고, 틀린 지점을 지도에 찍어 하천변이나 급경사에 몰려 있는지 봅니다. QGIS 메뉴 이름은 버전과 언어 설정에 따라 다를 수 있습니다. 이렇게 약한 지형을 찾아 두면 침수 예상 구역을 설명할 때 근거가 됩니다.
🖥️ 화면에서 따라하기

- 검증점 불러오기
레이어 > 레이어 추가 > 벡터 레이어 추가에서 정답 열이 있는 검증점 파일을 선택하고 추가를 누른다 - 예측값 붙이기
프로세싱 > 툴박스 검색창에 '샘플링'을 입력해 래스터 값 샘플링을 열고 예측 결과 래스터를 지정한다 - 표로 내보내기
검증점 레이어에서 오른쪽 클릭 > 내보내기 > 객체 저장 > 형식 CSV를 고르고 저장한다 - 피벗표 만들기
스프레드시트에서 삽입 > 피벗 테이블을 열고 행에 실제, 열에 예측, 값에 개수를 넣는다 - 지표 계산
표 옆 칸에 재현율은 참양성÷(참양성+미탐), 정밀도는 참양성÷(참양성+오탐)을 입력한다
※ 프로그램 버전에 따라 메뉴 이름이 조금씩 다를 수 있습니다. 위 그림은 순서를 정리한 도식입니다.
✍️ 그대로 복사해 쓰는 프롬프트
내 혼동행렬 숫자를 재난 업무 관점으로 해석해 달라고 요청하기
너는 재난안전 분야의 GIS 분석 검증을 돕는 조력자다. 독자는 공간정보를 처음 배우는 실무자다. 아래는 [대상 재난, 예: 호우 침수] 탐지 결과의 혼동행렬이다. 행은 실제, 열은 예측이다. 참양성 [숫자], 미탐 [숫자], 오탐 [숫자], 참음성 [숫자] 검증 표본은 [표본 출처와 나눈 방식]으로 마련했다. 1) 전체 정확도, 재현율, 정밀도를 계산식과 함께 보여 줘. 2) 이 결과에서 미탐과 오탐 중 어느 쪽이 더 문제인지 [업무 목적, 예: 대피 안내 우선순위] 기준으로 설명해 줘. 3) 전체 정확도만 보면 오해할 부분이 있는지 짚어 줘. 제약: 전문용어는 처음 나올 때 한 줄로 풀어 쓰고, 입력하지 않은 숫자나 기준은 지어내지 마. 표 형식으로 정리하고 마지막에 한 줄 결론을 붙여 줘. 사람이 확인할 것: 계산 결과를 직접 다시 계산해 보고, 검증 표본의 출처가 실제 조사 자료인지 확인합니다.
검증 표본을 어떻게 나눌지 계획 세우기
너는 공간 데이터 검증 설계를 돕는 조언자다. 나는 [기관 또는 부서명]에서 [대상 재난] 탐지 모델을 평가하려 한다. 보유 자료는 [자료 종류와 대략의 규모, 기간, 지역]이다. 재난 지점은 전체 중 드문 편이다. 훈련용과 검증용을 나누는 방법을 지역 단위와 사건 단위로 각각 제안하고, 장단점을 표로 비교해 줘. 공간적으로 가까운 지점이 양쪽에 섞이는 문제를 어떻게 피하는지 쉬운 말로 설명해 줘. 제약: 특정 소프트웨어의 기능이나 버전을 단정하지 말고, 모르는 부분은 모른다고 써 줘. 12줄 이내로 답해 줘. 사람이 확인할 것: 제안된 분할 방식이 실제 자료의 지역과 시기에 맞는지, 검증 지역이 훈련 지역과 겹치지 않는지 지도로 확인합니다.
※ 대괄호 부분을 상황에 맞게 바꿔서 쓰세요. 받은 답은 그대로 쓰지 말고 사실 확인을 거치세요.
🧪 직접 해보기
- 가상의 예처럼 1,000개 중 20개가 재난인 표를 스프레드시트에 만들고, 전부 정상이라 답했을 때 정확도와 재현율을 계산해 보기
- 내 분석 결과의 정답이 실제 조사 자료인지, 훈련에 쓰지 않은 표본인지 확인해 적어 두기
- 기준값을 두세 단계로 바꿔 미탐과 오탐이 어떻게 달라지는지 표로 비교하고 업무에 맞는 값을 골라 보기
❓ 자주 묻는 질문
Q. 혼동행렬에서 오탐과 미탐은 어떻게 구분하나요?
A. 오탐은 실제로는 재난이 아닌데 재난이라고 한 경우이고, 미탐은 실제 재난인데 아니라고 한 경우입니다. 표에서 실제와 예측 축이 어느 쪽인지 먼저 확인하면 헷갈리지 않습니다.
Q. 정확도가 높으면 재난 탐지에 쓸 만한 모델인가요?
A. 반드시 그렇지는 않습니다. 재난은 드문 사건이라 전부 정상으로 답해도 정확도가 높게 나올 수 있으므로, 재현율과 정밀도를 함께 확인해야 합니다.
Q. 검증 표본은 전체 자료의 얼마나 떼어 두면 되나요?
A. 정해진 비율은 없고 자료의 양과 재난 사례 수에 따라 다릅니다. 비율보다 검증 표본에 재난 사례가 충분히 들어 있는지, 훈련 지역과 겹치지 않는지를 먼저 확인하세요.
정확도 평가는 분석의 마지막 단계가 아니라, 결과를 현장에서 얼마나 믿고 쓸지 정하는 첫 단계입니다. 검증 표본을 따로 두고, 혼동행렬로 틀린 방식을 확인하고, 업무 목적에 맞게 미탐과 오탐의 균형을 잡으면 숫자 하나에 속지 않게 됩니다. 이제 내 분석이 어디서 맞고 어디서 틀리는지 알게 되었다면, 다음 궁금증은 이렇습니다. 틀리는 지점이 특정 지역에 몰려 있을 때 그 오차를 지도에서 어떻게 보여 주고 설명할 수 있을까요?
GeoAI 기초 시리즈 34편 · 전체 43편
재난안전과 GeoAI 이야기를 더 보고 싶다면 아래 채널도 함께 보세요.
📌 바로가기