신경망에서 학습을 위한 핵심 알고리즘 중 하나인 역전파는 연쇄 법칙에 기반을 두고 있다. 이번 글에서는 연쇄 법칙이란 무엇인지 역전파에서 어떻게 활용되는지 그리고 이를 통해 신경망이 어떻게 가중치를 조정하는지 보도록 하자.
1. 연쇄 법칙이란?
복합 함수의 미분을 구할 때 사용되는 수학적 원리이다.
함수 z가 y를 거쳐 x에 의존하는 경우 즉 z = f(y), y = g(x)이면, z를 x에 대해 미분할 때 다음과 같이 계산할 수 있다.
복합 함수의 미분은 각 함수의 미분 값을 곱하는 방식으로 구할 수 있다. 이 개념이 신경망의 역전파 과정에서 활용된다.
2. 역전파와 연쇄 법칙
신경망에서 역전파는 손실 함수(Loss Function)의 기울기를 계산하여 가중치를 업데이트하는 과정인데 이 과정을 수행하기 위해 연쇄 법칙이 필수적으로 사용된다.
▶️ EX) 단일 뉴런에서의 연쇄 법칙 적용
입력 x 가중치 w 바이어스 b 활성화 함수 f를 사용한 하나의 뉴런이 다음과 같은 수식을 따른다고 가정하겠다.
이때 손실 함수 L이 정의되어 있고 가중치 w에 대한 손실 함수의 미분을 구하려면 연쇄 법칙을 적용해야 한다.
- 위 과정이 신경망의 각 층에 대해 반복되며 최종적으로 모든 가중치가 업데이트 된다.
3. 신경망에서의 연쇄 법칙 적용
신경망은 여러 개의 층(Layer)으로 이루어져 있으며 각 층에서의 출력이 다음 층의 입력으로 사용된다.
따라서 역전파를 통해 손실의 기울기를 계산할 때 각 층의 미분을 연쇄 법칙을 이용해 전달해야 한다.
1. 출력층(Output Layer)에서의 미분
- 손실 함수 L을 최종 출력 y에 대해 미분하여 기울기를 구한다.
2. 은닉층(Hidden Layer)으로 기울기 전파
- 연쇄 법칙을 사용하여 출력층의 기울기를 은닉층으로 전달한다.
- 각 층에서의 활성화 함수에 대한 미분을 추가적으로 계산하여 반영한다.
3. 입력층(Input Layer)까지 반복
- 모든 층에서 연쇄 법칙을 적용하여 기울기를 전파하고 각 층의 가중치와 편향을 업데이트한다.
4. 연쇄 법칙을 적용한 역전파 과정
- 순전파(Forward Propagation): 입력 데이터를 받아 출력을 생성.
- 손실 계산(Loss Computation): 출력값과 실제값의 차이를 측정.
- 출력층에서의 기울기 계산: 손실 함수의 미분을 통해 출력층에서의 기울기를 계산.
- 은닉층에서의 기울기 전파: 연쇄 법칙을 적용하여 각 층의 기울기를 구함.
- 가중치 업데이트: 경사 하강법등을 사용하여 가중치를 업데이트.
💡 정리하자면 연쇄 법칙은 역전파 과정에서 필수적인 개념이다. 이를 통해 신경망이 손실 함수의 기울기를 효과적으로 계산하고 가중치를 최적화할 수 있다. 신경망의 각 층에서 미분이 연쇄적으로 적용되면서 기울기가 전파되며 이를 기반으로 모델이 점진적으로 학습하게 된다.