[패스트캠퍼스 수강 후기] 인공지능강의 100% 환급 챌린지 17회차 미션

인공지능강의

05. PART 4) 딥러닝의 3 STEP의 기초

23. 쉽게 배우는 역전파 학습법 - 04. (STEP 2) 역전파 학습의 필요성

수치적 기울기 Numerical Gradient

미분의 정의로부터 극한 연산을 근사해 수치적 기울기를 구할 수 있다.

e의 값이 충분히 작다면, 수치적 기울기를 미분 값으로 사용할 수 있다.

 

블랙박스 모델의 수치적 기울기

각 스칼라 변수를 각각 조금씩 바꾸어 대입해 보면서 수치적 기울기를 구한다.

N개의 매개 변수로 미분하기 위해 (N+1)번 더 손실함수를 평가해야 한다.

 

심층 신경망의 수치적 기울기

경사 하강법 한 스텝 계산을 위한 연산은 N(N+1)번의 곱하기 연산이다.

10만개의 파라미터를 가진 경우 무려 100억 회 -> 무언가 대책이 필요하다. -> 역전파 학습법.

 

24. 쉽게 배우는 역전파 학습법 - 05. (STEP 2) 합성 함수와 연쇄법칙

연쇄 법칙 Chain Rule

미분할 변수 -> 함수1 -> 함수 2 -> 미분 대상

=

미분할 변수1 -> 함수1 ->미분할 변수2 -> 함수2 -> 미분 대상

 

미분과 연쇄 법칙

연쇄 법칙 = 합성함수의 미분(겉미분과 속미분) 연쇄법칙을 이용한 미분의 계산. 고등학교 과정에서 배우는 합성함수의 

미분과 동일

 

연쇄법칙의 확장

연쇄 법칙을 이용하면 연속된 함수의 미분을 각각의 미분의 곱으로 표현할 수 있다.

 

 

https://bit.ly/3g72Rmm

딥러닝/인공지능 올인원 패키지 Online. | 패스트캠퍼스