인공지능 용어사전2 SeLU SeLU는 ELU에 고정된 파라미터를 추가하였다. Scaled ELU라서 SELU였던 것이다! 근데 ELU에 고정된 파라마터 설정해서 뭐가 좋을까? '알아서 출력값이 정규화가 된다.' 은닉 층의 출력물이 배치 노멀라이제이션을 거치고 활성함수에 들어가야한다고 익히 들어보았을 것이다. 여기 SELU는 그런 법칙을 무시한다. 배치 정규화가 없이 '알아서 SELU의 장점 1. 출력물의 평균을 0, 분산을 1로 수렴하게 만든다. 2. 깊은 신경망에서 학습이 잘된다. 3. 강력한 정규화 체계를 혀용한다. 4. 노이즈에 강건하게 한다. 5. 가중치 폭발과 가중치 사라지는 현상을 이론적으로 불가능하게 한다. SELU의 단점 1. SELU는 RNN이나 CNN에서 잘 작동하는 지 알 수없다. CNN에서 잘 작동 된다는 사.. 2022. 3. 2. ReLU와 Dying ReLU 0과 크기를 비교 0보다 작으면 0으로 매핑된다. 양수면 그냥 통과 (identity라고 한다.) 1. 포화될일이 없고 연산이 효율적이다. ReLU는 simple max 단순 max라서 빠르다. 2. 시그모이드와 tanh에 비해 연산속도가 빠르다. 왜냐하면 ReLU는 0보다 크면 미분 값이 1로 전달되기 때문이다. sigmoid와 tanh의 6배의 속도를 가지고 있다고 한다. 3. 깊은 신경망에서 학습이 가능하다.포화 되는 부분이 없기 때문에 층이 깊어지면서 가중치가 소실되는 문제점을 해결하였다. 이는 깊은 신경망에서도 학습이 가능하다는 의미이다! 단점: 1. 출력물이 0이 중심이어야 하는데 ReLU의 경우 0보다 클 때 부터 활성화 되기 때문에 0이 중심이 될 수 없다. (사소한 문제) 2. 0보다 작.. 2022. 3. 2. 이전 1 다음
