[패스트캠퍼스 수강 후기] 인공지능강의 100% 환급 챌린지 38회차 미션

인공지능강의

05. PART 4) 딥러닝의 3 STEP의 기초

65. 효과적으로 사용할 수 있는 기법 - 05. (STEP 2) 배치 정규화와 변형 기법들 - 2

배치 정규화의 한계 : 

Mini-batch에 의해 크게 영향을 받는다.

. 배치의 크기가 너무 작으면 잘 동작하지 않는다.

- 메모리의 한계로 인해 RNN이나 크기가 큰 CNN에 적용하기 어렵다

. 배치의 크기가 너무 커도 잘 동작하지 않는다.

- 병렬화 연산 효율이 떨어진다.

 

가중치 정규화 Weight Normalization

. FC 계층의 w는 '방향'과 '크기'를 같이 학습하지만, 이를 분리하여 g와 v로 나누어 학습

. 학습 시 자유도가 개선되어 최적화가 더 쉽게 이루어짐

. 학습 시 CNN에서 배치 정규화 대비 연산량이 매우 감소 (Feature에 적용 vs. Weight에 적용)

 

계층 정규화 Layer Normalization

. 배치 정규화와 달리, 각 샘플 내에서 계층에 대해 정규화 수행 ( 모든 데이터가 서로 independent하다는 가정 )

. 배치의 크기에 영향을 받지 않으며, RNN에서도 잘 동작함

 

66. 효과적으로 사용할 수 있는 기법 - 06. (STEP 2) 배치 정규화와 변형 기법들 - 3

자가 정규화 신경망 Self-Normalizing Neural Network

SNN은 바닐라 CNN에 약간의 변화를 줌으로써, 스스로 정규화하는 계층을 형성한다.

BatchNorm 대비 훨씬 더 안정적이면서도 좋은 성능을 보인다.

 

SELU Scaled Exponential Linear Unit

SELU는 ReLU와 달리, 음수 값을 Exponential하게 활성화 하는 특징이 있다. 𝜆와 𝛼의 값에 따라 특성이 결정된다.

자가 정규화를 위한 이 값은 𝜆 = 1.0507, 𝛼 = 1.67326으로 알려져 있다.

 

𝛼-DropOut

𝛼DropOut 𝑥 = 𝑎( 𝑥𝑑 + 𝛼 ′ (1 − 𝑑 )+ 𝑏

DropOut이 ReLU에 잘 동작하는 것을 반영하여, SELU에 적합하도록 변형한 버전.

복잡한 Derivation을 통해 𝛼′값을 결정해 두었으며, dropout-rate는 5~10%로 비교적 작다.

 

 

https://bit.ly/3g72Rmm

딥러닝/인공지능 올인원 패키지 Online. | 패스트캠퍼스