역전파학습법 (2) 썸네일형 리스트형 [패스트캠퍼스 수강 후기] 인공지능강의 100% 환급 챌린지 19회차 미션 인공지능강의 05. PART 4) 딥러닝의 3 STEP의 기초 27. 쉽게 배우는 역전파 학습법 - 08. (STEP 3) 수치 미분을 이용한 심층 신경망 학습 - 1 import time import numpy as np ## 유틸리티 함수 epsilon = 0.0001 def _t(x): return np.transpose(x) def _m(A, B): return np.matmul(A, B) def sigmoid(x): return 1 / (1 + np.exp(-x)) def mean_squared_error(h, y): return 1 / 2 * np.mean(np.square(h - y)) ## 뉴런 구현 class Neuron: def __init__(self, W, b, a): # Model.. [패스트캠퍼스 수강 후기] 인공지능강의 100% 환급 챌린지 17회차 미션 인공지능강의 05. PART 4) 딥러닝의 3 STEP의 기초 23. 쉽게 배우는 역전파 학습법 - 04. (STEP 2) 역전파 학습의 필요성 수치적 기울기 Numerical Gradient 미분의 정의로부터 극한 연산을 근사해 수치적 기울기를 구할 수 있다. e의 값이 충분히 작다면, 수치적 기울기를 미분 값으로 사용할 수 있다. 블랙박스 모델의 수치적 기울기 각 스칼라 변수를 각각 조금씩 바꾸어 대입해 보면서 수치적 기울기를 구한다. N개의 매개 변수로 미분하기 위해 (N+1)번 더 손실함수를 평가해야 한다. 심층 신경망의 수치적 기울기 경사 하강법 한 스텝 계산을 위한 연산은 N(N+1)번의 곱하기 연산이다. 10만개의 파라미터를 가진 경우 무려 100억 회 -> 무언가 대책이 필요하다. -> 역.. 이전 1 다음
