2️⃣ AI 학습을 위한 기초 개념

이 카테고리는 머신러닝과 딥러닝 모두에서 필수적인 기초 개념을 다루며 모델을 학습시키는 데 필요한 수학적 원리와 최적화 기법을 포함하고 있습니다.

 

---

🛠 신경망 학습 과정 흐름도

💡 신경망이 학습하는 과정의 전반적인 흐름을 간략히 정리

 

1️⃣ 순전파 (Forward Propagation)

• 입력 데이터를 네트워크에 통과시키고 예측값을 출력

2️⃣ 손실 함수 계산 (Loss Calculation)

• 예측값과 실제값의 차이를 계산하여 손실(Loss) 측정

3️⃣ 역전파 (Backpropagation)

• 손실 값을 기반으로 가중치와 편향의 기울기(gradient)를 계산
• 연쇄 법칙을 적용하여 각 층의 기울기를 전달

4️⃣ 경사하강법 (Gradient Descent) 적용

• 계산된 기울기를 사용하여 가중치를 업데이트
• 최적의 가중치를 찾기 위해 학습을 반복

5️⃣ 반복 학습 (Epoch & Mini-Batch Learning)

• 여러 번 반복하여 모델을 최적화

6️⃣ 최종 평가 및 테스트

• 학습된 모델을 테스트 데이터에 적용하여 성능 평가

 

---

 

 

 

📌 신경망 학습의 기본 개념

💡 신경망이 학습하는 과정에서 가장 중요한 핵심 개념들

        순전파(Forward Propagation): 입력 데이터를 받아 출력을 계산하는 과정

        역전파(Backpropagation): 오차를 가중치에 대한 기울기로 변환하여 가중치를 조정하는 과정

        미분(Differentiation): 오차가 가중치에 미치는 영향을 계산하는 핵심 원리

        연쇄 법칙(Chain Rule): 역전파 과정에서 미분을 전달하는 원리

1️⃣ 순전파와 역전파 (Forward & Backpropagation)

• 순전파: 입력 데이터가 신경망을 통과하며 최종 예측값을 출력하는 과정
• 역전파: 예측값과 실제값의 차이를 이용해 가중치를 업데이트하는 과정

 

• 모델에서의 역할: 학습 과정의 핵심. 모델이 입력을 받아 예측을 만들고 오차를 줄이도록 가중치를 조정하는 역할

[신경망 학습 알고리즘] 순전파 역전파

 

2️⃣ 역전파와 미분

• 역전파 과정에서 미분이 왜 중요한가?
  • 모델이 오차를 줄이기 위해 기울기(gradient)를 계산할 때 필수적인 수학적 개념
• 모델에서의 역할: 각 가중치가 얼마나 변화해야 하는지 결정하는 핵심 요소

[최적화 알고리즘] 수치 미분

 

[최적화 알고리즘] 일변수 미분 vs 다변수 미분(편미분)

 

 

[신경망 학습 알고리즘] 역전파와 미분

 

 

 

3️⃣ 역전파와 연쇄 법칙 (Chain Rule)

• 연쇄 법칙이란?
  • 미분을 여러 함수에 적용할 때 사용하는 규칙으로 역전파에서 필수
• 모델에서의 역할: 신경망이 깊어질수록 각 층의 가중치를 업데이트하기 위해 연쇄 법칙을 활용

[신경망 학습 알고리즘] 역전파와 연쇄 법칙

 

 

 

4️⃣ 활성화 함수 (Activation Function) 

• 활성화 함수란?
  • 비선형 변환을 적용하여 뉴런이 복잡한 패턴을 학습할 수 있도록 함
• 모델에서의 역할: 비선형성을 추가하여 딥러닝이 복잡한 문제를 학습할 수 있도록 도움을 주며 뉴런이 전달하는 정보의 중요도를 조절하여 학습 성능 최적화함

[신경망 연산] 활성화 함수(Activation Function)

 

[신경망 연산] 선형 활성화 함수는 왜 딥러닝에서 사용되지 않을까?

 

 

📌 최적화와 모델 학습을 위한 기법

💡 신경망이 더 좋은 예측을 할 수 있도록 학습을 개선하는 과정

1️⃣ 손실 함수 (Loss Function)

• 손실 함수란?
  • 모델이 예측한 값과 실제 값 간의 차이를 정량적으로 측정하는 함수
  • 손실을 최소화하는 방향으로 가중치를 조정하는 것이 학습의 목표
• 모델에서의 역할: 모델이 학습하는 방향을 결정하며 손실 값이 작아질수록 모델이 더 정확한 예측을 수행하도록 최적화

[머신러닝/딥러닝] 손실함수(Loss Function)

[머신러닝/딥러닝] 주요 손실 함수 정리

 

 

2️⃣ 경사하강법 (Gradient Descent)과 최적화 기법

• 경사하강법 (SGD, Adam, RMSprop 등)
  • 손실 함수 값을 줄이기 위해 가중치를 조정하는 알고리즘
• 모델에서의 역할: 최적의 가중치를 찾도록 도와 학습을 진행하는 핵심 기법

 

 

3️⃣ 신경망에서의 기울기 (Gradient in Neural Networks)

• 기울기 소실(Gradient Vanishing)과 기울기 폭발(Gradient Explosion) 문제
• 해결 방법: 배치 정규화 (Batch Normalization), Gradient Clipping 등
• 모델에서의 역할: 학습이 올바르게 진행될 수 있도록 안정적인 기울기를 유지

 

 

📌 딥러닝 학습 단위

💡 모델이 데이터를 어떻게 학습하는지를 결정하는 중요한 요소들

1️⃣ 배치 (Batch), 미니배치 (Mini-Batch), 에포크 (Epoch)

• 배치(Batch): 한 번의 학습에서 사용하는 데이터의 양
• 미니배치(Mini-Batch): 전체 데이터를 작은 단위로 나누어 학습
• 에포크(Epoch): 전체 데이터셋을 한 번 학습하는 과정
• 모델에서의 역할: 학습 속도, 메모리 사용량, 최적화 성능에 영향을 미치는 요소