[패스트캠퍼스 수강 후기] 인공지능강의 100% 환급 챌린지 28회차 미션

인공지능강의

05. PART 4) 딥러닝의 3 STEP의 기초

45. 순환 신경망(RNN) - 03. (STEP 1) 심화 순환 신경망

기울기 소실 문제

.Vanilla RNN은 어떤 입력의 정보가 사용되는 시점이 차이가 많이 날 경우, 학습 능력이 저하된다.

 

LTSM, Long Short-Term Memory

.Vanilla RNN을 개선한 LSTM 구조.

.기억할 것은 오래 기억하고, 잊을 것은 빨리 잊어버리는 능력이 있다.

 

-Cell State (LTSM)

.기억을 오랫동안 유지할 수 있는 구조.

.새로운 특징을 덧셈으로 받는 구조 (Residual Network)

 

-Hidden State (LTSM)

.계층의 출력/다음 타임 스텝으로 넘기는 정보.

 

-Forget Gate (LTSM)

.Sigmoid 활성 함수로, 0~1의 출력 값을 가짐.

.Cell State에 이를 곱해 주어서 '얼만큼 잊을지'를 결정.

 

-Input Gate (LTSM)

.Sigmoid 활성 함수로, 0~1위 출력 값을 가짐.

.새롭게 추출한 특징을 얼만큼 사용할 지 결정

-Output Gate (LTSM)

.Sigmoid 활성 함수로, 0~1의 출력값을 가짐.

.Cell로부터 출력을 얼마나 내보낼지 결정하는 역할.

 

GRU, Gated Recurrent Unit

.LSTM을 간소화한 버전이라고 할 수 있는 GRU.

.Cell State가 없고, Hidden State만 존재한다.

.Forget Gate와 Input Gate를 결합하였다.

.Reset Gate를 추가하였다.

 

-Fortget Gate & Input Gate (GRU)

.LSTM과 동일한 Forget Gate를 사용한다.

.Forget Gate를 1에서 빼서 Input Gate로 사용하였다.

 

-Reset Gate (GRU)

.Sigmoid 활성함수로, 0~1의 값을 가진다.

.이전 Hidden state를 얼마나 사용할지 정하는 역할

.0에 가까운 값이 되면 'Reset'이 된다. (ex. 새 문장의 시작)

 

46. 순환 신경망(RNN) - 04. (STEP 1) 시간펼침 역전파 학습법

 

순차 데이터셋의 구조

.입력 또는 출력 중 하나라도 순차 데이터라면, 순환 신경망을 이용해 학습할 수 있다.

 

시간 펼침 역전파, Back Propagation Through Time

.역전파와 동일하게, 시간적으로 펼쳐 둔 상태에서 역전파를 한다. 이 때, 시간적으로 펼쳐진 변수들은 동일한 변수라는 점에 유의해야한다.

 

단일 입력 - 다중 출력

.실제로는 입력을 넣고 계산해야 하기 때문에 All-Zero 입력을 넣어준다.

 

다중 입력 - 다중 출력

. 입력과 출력이 매 Time-Step 마다 이루어지는 경우. 동영상의 프레임별 분류를 예로 들 수 있다.

 

다중 입력 - 다중 출력

. 모든 입력을 받은 후에 출력을 내는 경우. 문장 번역 챗봇 등의 애플리케이션이 있다.

 

 

https://bit.ly/3g72Rmm

딥러닝/인공지능 올인원 패키지 Online. | 패스트캠퍼스