손실 함수

손실 함수(損失函數, loss function)는 머신 러닝이나 통계학 등에서 예측값과 실제값 간의 차이를 수치적으로 표현하는 함수이다.

개요

손실 함수는 모델이 얼마나 잘 작동하고 있는지를 평가하기 위한 기준으로 사용된다. 주어진 입력에 대해 모델이 출력한 예측값과 실제 정답 값 사이의 오차를 계산하며, 이 값을 최소화하는 방향으로 모델이 학습된다. 손실 함수는 지도 학습에서 특히 중요하게 사용되며, 회귀 문제와 분류 문제에 따라 적합한 손실 함수가 달라진다.

종류

회귀 문제에서의 손실 함수

• 평균 제곱 오차(Mean Squared Error, MSE)
• 평균 절대 오차(Mean Absolute Error, MAE)
• 후버 손실(Huber Loss)

분류 문제에서의 손실 함수

• 이진 교차 엔트로피(Binary Cross Entropy)
• 범주형 교차 엔트로피(Categorical Cross Entropy)
• 스팟맥스 손실(Softmax Loss)

수학적 정의

손실 함수는 예측값과 실제값을 입력받아 손실값을 반환하는 함수이다. 예를 들어, 평균 제곱 오차는 각 데이터 샘플에서 실제값과 예측값의 차이를 제곱하여 평균을 낸 값이다.

사용 예

딥러닝에서 손실 함수는 역전파 과정에서 그래디언트를 계산하는 데 사용된다. 손실 함수의 값이 작을수록 모델이 더 정확하게 예측하고 있다는 의미이며, 학습의 목적은 손실 값을 최소화하는 모델 파라미터를 찾는 것이다.

같이 보기

• 최적화 알고리즘
• 경사 하강법
• 정확도
• 모델 평가 지표
• 신경망

참고 문헌

• Goodfellow, Ian, et al. Deep Learning. MIT Press, 2016.
• Bishop, Christopher M. Pattern Recognition and Machine Learning. Springer, 2006.