ResNet 2

🚀 딥러닝과 하드웨어 발전으로 깊어지는 신경망

딥러닝 기술이 발전함에 따라 신경망의 깊이는 점점 더 깊어지고 있다. 과거에는 하드웨어 성능의 한계로 인해 복잡한 모델을 학습하는 것이 어려웠지만 최근 하드웨어의 발전으로 인해 신경망의 깊이가 급격히 증가하면서 인공지능이 비약적으로 발전하고 있는 중이다.   특히 VGGNet(2014)은 네트워크 깊이를 증가시켜 성능 향상을 위한 모델이지만 깊은 네트워크를 안정적으로 학습시키기 위해서는 강력한 GPU와 병렬 연산 기술이 필수적이었다. 따라서 컴퓨터 하드웨어의 발전이 VGGNet과 같은 딥러닝 모델의 성능 향상과 실용화에 엄청나게 중요한 역할을 했다고 볼 수 있다.   하드웨어의 성능이 더욱 향상되면서 ResNet(2015)과 같은 더 깊은 네트워크가 등장하였고 100층 이상의 신경망도 안정적으로 학습할 ..

잔차 학습(Residual Learning) vs 일반적인 신경망 학습

인공신경망(ANN, Artificial Neural Network)은 깊어질수록 강력한 특징을 학습할 수 있지만 동시에 기울기 소실(Vanishing Gradient) 문제와 같은 학습 장애를 겪게 되는데. 이를 해결하기 위한 방법 중 하나가 바로 잔차 학습(Residual Learning)이다. 이번 글에서는 잔차 학습이 무엇인지 그리고 일반적인 신경망 학습과 어떤 차이가 있는지 비교해보려한다.  💡 잔차(Residual)란 무엇인가?잔차(Residual)란 우리가 원하는 결과와 현재 모델의 예측값 사이의 차이를 의미한다. 모델이 "원본 입력을 그대로 전달하면 안 되는 추가적인 변화(잔차, residual)만 학습하면 된다"고 가정하는 것이다.🐶 EX) 강아지 vs 머핀 분류에서 잔차 학습 적용일반..