[패스트캠퍼스 수강 후기] 인공지능강의 100% 환급 챌린지 24회차 미션

인공지능강의

05. PART 4) 딥러닝의 3 STEP의 기초

37. 합성곱 신경망(CNN) - 07. (STEP 2) 심화 합성곱 신경망 - 1

GoogLeNet

.GoogLeNet은 네트워크를 더욱 더 깊게 만들고자 하는 노력에서 나왔다.

.역전파에서 기울기 소실이 발생하는 것을 방지하기 위해, 같은 문제를 여러 단계에서 풀도록 추가 분류기 사용.

 

Inception 모듈

.다양한 크기의 합성곱 계층을 한번에 계산하는 Inception 모듈

.연산량을 줄이기 위해 1x1합성곱을 추가한 구조를 Bottleneck 구조라고 한다.

 

Bottleneck 구조

.Bottleneck 구조의 활용으로, Receptive field를 유지하면서 파라미터의 수와 연산량을 줄였다.

 

38. 합성곱 신경망(CNN) - 08. (STEP 2) 심화 합성곱 신경망 - 2

 

Residual Network ResNet

.Facebook에서 활약중인 Kaiming He의 명품 딥러닝 네트워크.

기존 20계층 수준의 네트워크를 152계층까지 늘이는 성과를 거두었다.

.사이사이 눈에 띄는 Skip-Connection이 주요한 역할을 한다.

 

Skip Connection

.Feature를 추출하기 전 후를 더하는 특징이 있다.

 

Identity Mapping

한 단위의 특징 맵을 추출하고 난 후에 활성 함수를 적용하는 것이 상식이었다.

하지만 개선된 구조에서는 Identity Mapping을 얻기 위해서 Pre-Activation을 제안했다.

 

Pre-Activation

Conv-BN-ReLu 구조를 BN-ReLU-Conv 구조로 변경한 것으로 성능이 개선되었다!

후자의 경우 Gradient Highway가 형성되어 극적인 효과를 얻는다.

 

https://bit.ly/3g72Rmm

딥러닝/인공지능 올인원 패키지 Online. | 패스트캠퍼스