[패스트캠퍼스 수강 후기] 인공지능강의 100% 환급 챌린지 32회차 미션

인공지능강의

05. PART 4) 딥러닝의 3 STEP의 기초

53. 맥락을 파악하는 Attention 기법 - 02. (STEP 1) Attention 신경망 - 1

Query, Key-Value

Query: 질의. 찾고자 하는 대상

Key: 키. 저장된 데이터를 찾고자 할 때 참조하는 값

Value: 값. 저장되는 데이터

Dictionary: Key-Value Pair로 이루어진 집합

 

Attention mechanism

Q에 대해 어떤 K가 유사한지 비교하고, 유사도를 반영하여 V들을 합성한 것 Attention value이다.

 

Seq2seq - Key-Value

대부분의 Attention network에서는 key와 value를 같은 값을 사용한다.

Seq2seq에서는 Encoder의 hidden layer들을 key와 value로 사용한다.

 

Seq2seq - Query

Seq2seq에서는 Decoder의 hidden layer들을 Query로 사용한다.

주의할 점은, Encoder와 달리 하나 앞선 time-step의 hidden layer를 사용한다.

 

Seq2seq - Application

RNN으로 Hidden state를 입력하기 전에, attention value를 concatenate하여 입력한다.

 

54. 맥락을 파악하는 Attention 기법 - 03. (STEP 1) Attention 신경망 - 2

Transformer

번역 문제에서 RNN과 CNN을 사용하지 않고, Attention만을 이용하여 State-of-the-art 성능을 끌어낸 연구

 

Attention 네트워크 특성

. Seq2seq와 유사한 Transformer 구조 사용

. 제안하는 Scaled Dot-Product Attention과, 이를 병렬로 나열한 Multi-Head Attention 블록이 알고리즘의 핵심

. RNN의 BPTT와 같은 과정이 없으므로 병렬 계산 가능

. 입력된 단어의 위치를 표현하기 위해 Positonal Encoding 사용

 

Word Embedding

. One-Hot Encoding된 단어를 실수 형태로 변경하면서 차원의 수를 줄이는 방법

 

Positional Encoding

. 시간적 위치별로 고유의 Code를 생성하여 더하는 방식

. 전체 Sequence의 길이 중 상대적 위치에 따라 고유의 벡터를 생성하여 Embediing된 벡터에 더해줌

 

Scaled Dot-Product Attention

. Query, Key-Value의 구조를 띄고 있음.

. Q와 K의 비교 함수는 Dot-Product와 Scale로 이루어짐

. Mask를 이용해 Illegal connection의 attention을 금지

. Softmax로 유사도를 0~1의 값으로 Normalize

. 유사도와 V를 결합해 Attention value 계산

 

Multi-Head Attention 

. Linear 연산 (Matrix Mult)를 이용해 Q, K, V의 차원을 감소, Q와 K의 차원이 다른 경우 이를 이용해 동일하게 맞춤

. h개의 Attention Layer를 병렬적으로 사용 - 더 넓은 계층

. 출력 직전 Linear 연산을 이용해 Attention Value의 차원을 필요에 따라 변경

. 이 메커니즘을 통해 병렬 계산에 유리한 구조를 가지게 됨

 

Masked Multi-Head Attention

. Self-Attetion에서 자기 자신을 포함한 미래의 값과는 Attention을 구하지 않기 때문에, Masking을 사용한다.

 

Output Softmax

. Linear 연산을 이용해 출력 단어 종류의 수에 맞춤

. Softmax를 이용해 어떤 단어인지 Classification 문제 해결

 

 

https://bit.ly/3g72Rmm

딥러닝/인공지능 올인원 패키지 Online. | 패스트캠퍼스