attention (2) 썸네일형 리스트형 [패스트캠퍼스 수강 후기] 인공지능강의 100% 환급 챌린지 54회차 미션 인공지능강의 PART 5) 딥러닝 최신 트렌드 37. Ch 04. 자연어처리 (Natural Language Processing) - 09. 자연어처리 대세 Transformer - 1 Transformer 번역 문제에 RNN과 CNN을 사용하지 않고 Attention만을 이용하여 성능을 이끌어냄. Trnasformer 네트워크 특성 . Seq2seq와 유사한 Transformer 구조 사용 . 제안하는 Scaled Dot-Product Attention과, 이를 병렬로 나열한 Multi-Head Attention 블록이 알고리즘의 핵심 . RNN의 BPTT와 같은 과정이 없으므로 병렬 계산 가능 . 입력된 단어의 위치를 표현하기 위해 Positional Encoding 사용 Word Embedding .. [패스트캠퍼스 수강 후기] 인공지능강의 100% 환급 챌린지 31회차 미션 인공지능강의 05. PART 4) 딥러닝의 3 STEP의 기초 51. 순환 신경망(RNN) - 09. (STEP 3) 순환 신경망 구현 및 학습 ## 순환신경망 구현 및 학습 import tensorflow as tf ## 하이퍼 파라미터 EPOCHS = 10 NUM_WORDS = 10000 ## 모델 정의 class MyModel(tf.keras.Model): def __init__(self): super(MyModel, self).__init__() self.emb = tf.keras.layers.Embedding(NUM_WORDS, 16) self.rnn = tf.keras.layers.LSTM(32) self.dense = tf.keras.layers.Dense(2, activation='soft.. 이전 1 다음
