딥러닝1 SeLU SeLU는 ELU에 고정된 파라미터를 추가하였다. Scaled ELU라서 SELU였던 것이다! 근데 ELU에 고정된 파라마터 설정해서 뭐가 좋을까? '알아서 출력값이 정규화가 된다.' 은닉 층의 출력물이 배치 노멀라이제이션을 거치고 활성함수에 들어가야한다고 익히 들어보았을 것이다. 여기 SELU는 그런 법칙을 무시한다. 배치 정규화가 없이 '알아서 SELU의 장점 1. 출력물의 평균을 0, 분산을 1로 수렴하게 만든다. 2. 깊은 신경망에서 학습이 잘된다. 3. 강력한 정규화 체계를 혀용한다. 4. 노이즈에 강건하게 한다. 5. 가중치 폭발과 가중치 사라지는 현상을 이론적으로 불가능하게 한다. SELU의 단점 1. SELU는 RNN이나 CNN에서 잘 작동하는 지 알 수없다. CNN에서 잘 작동 된다는 사.. 2022. 3. 2. 이전 1 다음