분류 전체보기15 패스트캠퍼스 온라인 강의 수강후기 요즘 듣고있는 강의가 있다. 패스트 캠퍼스의 대표 강의 중 하나이다. 이 강의의 장점은 딥러닝의 전반적인 부분을 다뤄준다! 처음에는 딥러닝을 시작하기전 간단한 확률과 통계 그리고 파이썬을 알려준다. 강사는 정말로 유명한 강사인 나동빈 강사님께서 알려주신다! 그다음으로는 딥러닝에 관련된 기본적인 용어를 알려주시는데 이분도 카이스트 출신으로 유명한 혁펜하임 강사님이다 ㄷㄷ(섭외력이 정말 대단하다!) 그다음으로는 간단한 머신러닝, 강화학습 (필자가 알기론 인공지능 유튜버로 유명한 팡요랩이 강화학습을 다룬다고 한다.) , 컴퓨터 비전, 자연어 처리, 마지막으로 정형 데이터까지 인공지능에 관련된 전반적인 내용을 다룬다. 또한 매달 인공지능 논문 리뷰가 올라와서 간단하게 동향을 확인하기 좋다! 인공지능에 대해 어디.. 2023. 12. 15. SeLU SeLU는 ELU에 고정된 파라미터를 추가하였다. Scaled ELU라서 SELU였던 것이다! 근데 ELU에 고정된 파라마터 설정해서 뭐가 좋을까? '알아서 출력값이 정규화가 된다.' 은닉 층의 출력물이 배치 노멀라이제이션을 거치고 활성함수에 들어가야한다고 익히 들어보았을 것이다. 여기 SELU는 그런 법칙을 무시한다. 배치 정규화가 없이 '알아서 SELU의 장점 1. 출력물의 평균을 0, 분산을 1로 수렴하게 만든다. 2. 깊은 신경망에서 학습이 잘된다. 3. 강력한 정규화 체계를 혀용한다. 4. 노이즈에 강건하게 한다. 5. 가중치 폭발과 가중치 사라지는 현상을 이론적으로 불가능하게 한다. SELU의 단점 1. SELU는 RNN이나 CNN에서 잘 작동하는 지 알 수없다. CNN에서 잘 작동 된다는 사.. 2022. 3. 2. ReLU와 Dying ReLU 0과 크기를 비교 0보다 작으면 0으로 매핑된다. 양수면 그냥 통과 (identity라고 한다.) 1. 포화될일이 없고 연산이 효율적이다. ReLU는 simple max 단순 max라서 빠르다. 2. 시그모이드와 tanh에 비해 연산속도가 빠르다. 왜냐하면 ReLU는 0보다 크면 미분 값이 1로 전달되기 때문이다. sigmoid와 tanh의 6배의 속도를 가지고 있다고 한다. 3. 깊은 신경망에서 학습이 가능하다.포화 되는 부분이 없기 때문에 층이 깊어지면서 가중치가 소실되는 문제점을 해결하였다. 이는 깊은 신경망에서도 학습이 가능하다는 의미이다! 단점: 1. 출력물이 0이 중심이어야 하는데 ReLU의 경우 0보다 클 때 부터 활성화 되기 때문에 0이 중심이 될 수 없다. (사소한 문제) 2. 0보다 작.. 2022. 3. 2. 무작정 쓴 CS231n 2강(2) K를 몇개 사용해야 될까요? 어떤 거리를 골라야할까요? 슬프게도 K의 개수와 거리는 인공지능이 학습하면서 우리에게 알아서 알려주지 않는다. 인간이 학습전에 골라주어야 한다! 우리는 이걸 하이퍼 파라미터라고 부른다. 하이퍼 파라미터는 모델링할 때 사용자가 직접 세팅해주는 값이다. 우리는 +) 인공지능이 정해주는 값은 파라미터라고 부른다. 파라미터는 한국어로 매개변수이다. 파라미터는 모델 내부에서 결정되는 변수이다. 또한 그 값은 데이터로부터 결정됩니다. 사용자에 의해 조정되지 않는다. 하이퍼 파라미터는 어떻게 고를까? 3가지중 하나만 정답이다. 1. 학습이 제일 잘 되는 하이퍼파라미터 고르자! 2. 학습을 하고 시험을 봐서 시험 결과가 제일 좋은 하이퍼 파라미터를 고르자! 3. 학습을 하고 검증을 하여 검.. 2022. 3. 1. 이전 1 2 3 4 다음
