[패스트캠퍼스 수강 후기] 인공지능강의 100% 환급 챌린지 29회차 미션

인공지능강의

05. PART 4) 딥러닝의 3 STEP의 기초

47. 순환 신경망(RNN) - 05. (STEP 2) 심화 순환 신경망의 수식적 이해 - 1

LTSM 수식

𝑓𝑡 = 𝜎( 𝑊𝑥𝑓𝑥𝑡 + 𝑊ℎ𝑓ℎ𝑡−1 + 𝑏𝑓 )

𝑖𝑡 = 𝜎( 𝑊𝑥𝑖𝑥𝑡 + 𝑊ℎ𝑖ℎ𝑡−1 + 𝑏𝑖 )

𝑜𝑡 = 𝜎( 𝑊𝑥𝑜𝑥𝑡 + 𝑊ℎ𝑜ℎ𝑡−1 + 𝑏𝑜 )
𝑔𝑡 = tanh( 𝑊𝑥𝑔𝑥𝑡 + 𝑊ℎ𝑔ℎ𝑡−1 + 𝑏𝑔 )

𝑐𝑡 = 𝑓𝑡 ⊙ 𝑐𝑡−1 + 𝑖𝑡 ⊙ 𝑔𝑡

ℎ𝑡 = 𝑜𝑡 ⊙ tanh( 𝑐𝑡 )

 

Forget gate, 𝑓𝑡

Forget gate는 기억을 '잊고자 하는 정도'를 나타낸다. Sigmoid activation이므로 값의 범위는 0~1이다.

특징은 여러 차원으로 되어 있으므로, 특징별로 기억할지 말지를 결정할 수 있다.

 

Input gate, 𝑖𝑡

Input gate는 새로운 입력을 받고자 하는 정도를 나타낸다. Sigmoid activation이므로 값의 범위는 0~1이다.

특징은 여러 차웜으로 되어 있으므로, 특징별로 받아들일지 말지를 결정할 수 있다.

 

Cell state, 𝑐𝑡

Cell state는 '기억'을 총괄하는 메모리 역할을 한다. 여러 차원으로 되어있어, 각차원은 특정 정보를 기억한다.

Hadamard 연산자의 특성으로 인해, 특징 별로 기억하고, 잊고 새로이 정보를 받을 수 있다.

 

Output gate, 𝑜𝑡

Output gate는 Cell state 중 어떤 특징을 출력할지 결정하는 역할을 한다.

Sigmoid activation이므로 값의 범위는 0~1이다.

 

Hidden state, ℎ𝑡

Hidden state는 Cell state에 tanh activation을 적용한 후, Output gate로 선별하여 출력한다.

tanh을 사용하는 이유는 출력 값의 범위가 -1~1로 bound되게 하기 위함이다.

 

48. 순환 신경망(RNN) - 05. (STEP 2) 심화 순환 신경망의 수식적 이해 - 2

GRU 수식

𝑟𝑡 = 𝜎( 𝑊𝑥𝑟𝑥𝑡 + 𝑊ℎ𝑟ℎ𝑡−1 + 𝑏𝑟 )

𝑧𝑡 = 𝜎( 𝑊𝑥𝑧𝑥𝑡 + 𝑊ℎ𝑧ℎ𝑡−1 + 𝑏𝑧 )

𝑔𝑡 = tanh( 𝑊𝑥𝑔𝑥𝑡 + 𝑊ℎ𝑔 𝑟𝑡 ⊙ ℎ𝑡−1 + 𝑏𝑔 )

ℎ𝑡 = 𝑧𝑡 ⊙ ℎ𝑡−1 + ( 1 − 𝑧𝑡 )𝑔𝑡

 

Reset gate, 𝑟𝑡

Reset gate는 Hidden state 중 어떤 특징을 reset할지 결정한다.

Reset 된 특징은 현재 time step부터 Fully-connected layer 입력에서 제외된다.

 

Forget gate, 𝑧𝑡

Forget gate는 LSTM의 Forget gate와 Output gate를 겸한다.

 

Hidden state, ℎ𝑡

Reset gate, Forget gate를 모두 적용하여 Hidden state를 계산한다.

LSTM의 Cell state와 Hidden state 역할을 모두 겸하고 있다.

 

 

https://bit.ly/3g72Rmm

딥러닝/인공지능 올인원 패키지 Online. | 패스트캠퍼스