Heeju.zip

🚀 활성화 함수(Activation Function)란?활성화 함수(Activation Function)는 인공신경망에서 뉴런(노드)이 입력값을 받아 출력으로 변환하는 데 사용되는 비선형 함수입니다. 수학적으로 활성화 함수 는 입력 에 대해 특정 변환을 수행하여 출력값을 결정하는 역할을 합니다. W : 가중치(Weight)b : 편향(Bias)f(x) : 활성화 함수y : 출력값 📌 활성화 함수의 발전과 신경망의 진화초기의 신경망은 퍼셉트론과 계단 함수를 사용했지만 학습이 어려운 문제가 있었습니다. 이후 시그모이드와 Tanh 함수가 등장했지만 기울기 소실 문제로 인해 깊은 신경망에서는 학습이 잘되지 않았습니다.그러다가 ReLU 함수가 등장하면서 딥러닝이 비약적으로 발전하게 되었으며 현재는 ReLU, ..

인공신경망(ANN, Artificial Neural Network)은 깊어질수록 강력한 특징을 학습할 수 있지만 동시에 기울기 소실(Vanishing Gradient) 문제와 같은 학습 장애를 겪게 되는데. 이를 해결하기 위한 방법 중 하나가 바로 잔차 학습(Residual Learning)이다. 이번 글에서는 잔차 학습이 무엇인지 그리고 일반적인 신경망 학습과 어떤 차이가 있는지 비교해보려한다.  💡 잔차(Residual)란 무엇인가?잔차(Residual)란 우리가 원하는 결과와 현재 모델의 예측값 사이의 차이를 의미한다. 모델이 "원본 입력을 그대로 전달하면 안 되는 추가적인 변화(잔차, residual)만 학습하면 된다"고 가정하는 것이다.🐶 EX) 강아지 vs 머핀 분류에서 잔차 학습 적용일반..