[모델 평가/학습 목표] 손실함수(Loss Function)

 

머신러닝과 딥러닝에서 손실함수는 모델이 얼마나 틀렸는지 측정하는 중요한 요소입니다. 손실함수는 모델이 학습할수 있도록 가이드를 제공해주고 이를 최소화하는 방향으로 최적화가 진행됩니다.

손실함수는 문제의 유형과 모델의 특성에 따라 여러가지가 있는데 예를 들자면 회귀문제에서는 Mean Squared Error (MSE)를 이진 분류에서는 Binary Cross-Entropy를 다중 클래스 분류에서는 Categorical Cross-Entropy를 주로 사용합니다. 

 

---

손실함수(Loss Function)란?

✅ 손실함수 정의

손실함수(Loss Function)는 머신러닝·딥러닝 모델이 예측한 값과 실제 값 사이의 오차를 수치화하는 함수입니다.

손실함수를 최소화하는 방향으로 모델이 학습되며 경사 하강법(Gradient Descent) 등의 최적화 알고리즘을 사용해 손실값을 줄여나갈 수 있습니다.

✅ 손실함수를 사용하는 이유

1. 모델의 성능 평가: 예측값이 얼마나 틀렸는지를 측정
2. 가중치 업데이트: 오차를 줄이기 위해 학습 과정에서 파라미터를 조정
3. 최적화 과정 진행: 손실값을 최소화하도록 모델을 학습시키기 위해

손실값이 클수록 모델이 부정확하다는 의미이며 손실값을 줄이는 것이 모델 최적화의 핵심 목표입니다.

 

 

손실함수 종류

대표적으로 사용되는 손실함수입니다.

1. 평균 제곱 오차 (Mean Squared Error, MSE)

2. 평균 절대 오차 (Mean Absolute Error, MAE)

3. 후버 손실 (Huber Loss)

4. 이진 교차 엔트로피 손실 (Binary Cross-Entropy, BCE)

5. 범주형 교차 엔트로피 손실 (Categorical Cross-Entropy, CCE)

[머신러닝/딥러닝] 주요 손실 함수 정리

 

 

손실함수를 줄이는 방법 (최적화)

손실함수를 줄이기 위해 최적화(Optimization) 기법이 필요합니다.

✔ 경사 하강법(Gradient Descent) → 손실함수를 줄이는 방향으로 가중치를 업데이트
✔ 확률적 경사 하강법(SGD) → 미니배치를 사용해 학습 속도 향상
✔ Adam Optimizer → 학습 속도와 성능을 동시에 잡는 최적화 알고리즘

 

 

 

 

🚀 오늘 글을 통해서 모델을 학습 할 때  모델이 얼마나 틀렸는지 알 수 있는 손실함수에 대해서 알아봤습니다. 그러나 어떻게 개선해야하는지에 대해서는 알지 못합니다. 다음 글에서는 이 부분을 해결하기 위한 방법에 대해서 글을 들고 오도록 하겠습니다.