혼동 행렬

Confusion matrix

머신러닝 예측, 분류 모델의 학습 성능 평가를 위한 표현 모델

혼동 행렬

구분		예상 값
		Positive	Negative
실제 값	Positive	TP	FN
	Negative	FP	TN

평가

평가지표	설명
정밀도(Precision)	양성으로 예측된 결과의 정확한 예측의 비율을 의미하는 모델의 성능 지표
재현율(Recall)	실제 양성 중 모델이 정확하게 양성으로 예측한 비율을 나타내는 모델의 성능 지표
F1-Score	정밀도와 재현율의 조화평균

정밀도

Precision

• 𝑻𝑷 / (𝑭𝑷 + 𝑻𝑷)
• 분자: 실제 Positive를 잘 판단한 경우
• 분모: 예측을 Positive로 한 모든 경우
• 잘못된 Positive를 줄이는 데에 초점
• ex) 스팸메일 분류
  • 스팸을 스팸메일로 분류하지 않는 것(FN)은 큰 문제가 없음
  • 스팸메일이 아닌 것을 스팸메일로 분류하면(FP) 업무 차질 발생
  • 이와 같이 FN보단 FP를 줄이는 것이 중요한 경우 정밀도 사용

재현율

Recall; Sensitivity; True Positive Rate

• 𝑻𝑷 / (𝑭𝑵 + 𝑻𝑷)
• 분자: 실제 Positive를 잘 판단한 경우
• 분모: 실제 값이 Positive인 모든 경우
• 잘못된 Negative를 줄이는데 초점
• ex) 악성코드 판별
  • 악성코드가 아닌데 악성코드로 분류하면(FP) 사용자가 확인하고 예외처리 하면 됨
  • 악성코드인데 악성코드가 아닌 것으로 분류하면(FN) 악성코드에 감염되어 위험 노출
  • 이와 같이 FP보단 FN를 줄이는 것이 중요한 경우 재현율 사용

F1-Score

• 정밀도와 재현율이 모두 중요한 경우
• 둘을 따로 볼 경우 Trade-off 관계가 발생하여 판단 어려움
• 이 경우 둘을 조화평균한 F1-Score 사용

• F1-Score는 정밀도와 재현율을 동등하게 계산한 경우이며
• 정밀도에 더 가중치를 주고 싶은경우 β를 1 이상으로 입력
• 재현율에 더 가중치를 주고 싶은경우 β를 0~1로 입력

민감도·특이도·카파

지표	식	뜻
민감도(재현율, Sensitivity)	TP / (TP + FN)	실제 긍정 중 긍정으로 맞게 예측한 비율
특이도(Specificity)	TN / (TN + FP)	실제 부정 중 부정으로 맞게 예측한 비율
정밀도(Precision)	TP / (TP + FP)	긍정으로 예측한 것 중 실제 긍정의 비율
거짓 긍정률(FPR)	FP / (TN + FP) = 1 − 특이도	실제 부정 중 긍정으로 잘못 예측한 비율
정확도	(TP + TN) / 전체
카파 통계량	(Pₒ − Pₑ) / (1 − Pₑ)	우연히 일치할 확률을 뺀 일치도. 보통 0~1 이고 1 에 가까울수록 예측과 실제가 일치한다

• "부정인 범주 중 부정으로 올바르게 예측한 비율" 은 특이도다. 민감도가 아니다.
• "부정인 범주 중 긍정으로 잘못 예측한 비율" 은 FPR(1 − 특이도)이다. 정밀도가 아니다.
• 행과 열(예측·실제)의 배치나 무엇을 '참'으로 정하는지는 문제마다 다르다. 표를 읽을 때 먼저 확인한다.
• ROC 곡선은 여러 기준값에서 만든 혼동행렬의 민감도와 1 − 특이도로 그린다. 그려진 ROC 곡선에서 거꾸로 하나의 혼동행렬을 구할 수는 없다.

같이 보기

• ROC 및 AUC