목적 함수(Objective Function) vs 비용 함수(Cost Function) vs 손실 함수(Loss Function)

목적 함수 (Objective Function)

 

가장 큰 범위의 개념, 모델이 최적화하고자 하는 함수

• 머신러닝 모델의 목표는 목적함수를 최소화 or 최대화 하는 것
• 일반적으로 손실 함수(Loss Function)이나 비용 함수(Cost Function)을 포함
• Example)
  • 선형 회귀에서 잔차 제곱합(SSE: Sum of Squared Errors)을 최소화 하는 것
  • 분류 문제에서 로그 손실(Log Loss)을 최소화 하는 것

 

비용 함수 (Cost Function)

 

전체 데이터셋에 대해 모델의 성능을 평가하는 함수

• 모델이 전체 데이터셋에 대해 얼마나 잘 수행하는지를 측정
• 일반적으로 여러 손실 함수(Loss Function)의 평균 또는 합
• 모델 학습 과정에서 최소화 하려는 대상
• Example)
  • 평균 제곱 오차 (MSE: Mean Sqaured Error) $$\frac{1}{n} \sum_{i=1}^n (y_i - \hat{y_i})^2$$
  • 크로스 엔트로피 손실 (Cross-Entropy Loss) $$−n1​∑i=1n​yi​log(yi​^​)$$

 

손실 함수 (Loss Function)

 

하나의 데이터 포인트에 대해 모델이 얼마나 잘 예측했는지를 측정하는 함수

• 개별 데이터 포인트의 오차를 나타냄
• 모델이 단일 데이터 포인트에서 예측값($\widehat{y}_{i}$)과 실제 값($y_{i}$)의 차이를 측정
• 학습 과정에서 각 데이터 포인트에 대한 기여를 평가하는 데 사용됨
• Example)
  • 제곱 오차 (Squared Error) $$(y_i - \hat{y_i})^2$$
  • 절대 오차 (Absolute Error) $$|y_i - \hat{y_i}|$$