chapter 2 딥러닝과 신경망 - 5절 오차 함수

1. 오차 함수의 개념

 오차 함수(error function)는 비용 함수(cost function) 또는 손실 함수(loss function)이라고도 불리며, 신경망의 예측 결과가 바람직한 출력과 비교해서 얼마나 동떨어졌는지 측정하는 수단이다. 손실값이 크면 모델의 정확도가 낮다는 것을 뜻하고, 손실값이 작으면 모델의 정확도가 높다는 것을 뜻한다. 출력값은 항상 양수이다.

 

2. 오차 함수의 종류

평균제곱오차
 평균제곱오차(mean squared error, MSE)는 각 데이터 점의 오차를 제곱해서 평균을 구한다. 출력값이 실수인 회기 문제에서 주로 사용한다.

절대제곱오차
 절대제곱오차(mean absolute error, MAE)는 각 데이터 점의 오차의 절대값의 평균이다. 평균제곱오차와 달리 모델의 대칭성이 깨지지 않는다.

교차 엔트로피
 교차 엔트로피(cross-entropy)는 실제 확률 분포와 예측 확률 분포의 오차를 구하는 함수이다. 주로 분류 문제에서 많이 사용한다.