🚀 활성화 함수(Activation Function)란?활성화 함수(Activation Function)는 인공신경망에서 뉴런(노드)이 입력값을 받아 출력으로 변환하는 데 사용되는 비선형 함수입니다. 수학적으로 활성화 함수 는 입력 에 대해 특정 변환을 수행하여 출력값을 결정하는 역할을 합니다. W : 가중치(Weight)b : 편향(Bias)f(x) : 활성화 함수y : 출력값 📌 활성화 함수의 발전과 신경망의 진화초기의 신경망은 퍼셉트론과 계단 함수를 사용했지만 학습이 어려운 문제가 있었습니다. 이후 시그모이드와 Tanh 함수가 등장했지만 기울기 소실 문제로 인해 깊은 신경망에서는 학습이 잘되지 않았습니다.그러다가 ReLU 함수가 등장하면서 딥러닝이 비약적으로 발전하게 되었으며 현재는 ReLU, ..
