[패스트캠퍼스 수강 후기] 인공지능강의 100% 환급 챌린지 36회차 미션

인공지능강의

05. PART 4) 딥러닝의 3 STEP의 기초

61. 효과적으로 사용할 수 있는 기법 - 01. (STEP 1) 과적합의 해결

과대 적합 Overfitting

이진 분류 문제에서의 Overfitting. 마치 시험 족보를 외우듯 주어진 문제의 답을 암기해 버리는 것과 유사.

 

데이터셋의 의미

학습 데이터(Training Data) : 학습 과정에서 보여지고, 실제 모델을 학습하는 데에 사용 되는 데이터.

검증 데이터(Validation Data) : 학습 과정에 보여지는 데이터이지만, 모델 학습에 사용하지 않고 학습이 잘되는지 검증하는데에 사용.

테스트 데이터(Test Data) : 학습 과정에서는 사용하지 않고, 학습을 마친 모델을 평가하기 위해 단 한번만 사용.

 

손실 함수 그래프 

실제로 학습을 진행하다 보면, 학습 데이터에 과적합되는 현상이 발생한다.

이를 해결하기 위해 Early Stopping, Droup out, 배치 정규화를 사용한다.

 

Early Stopping

Validation loss가 여러 Epoch 동안 감소하지 않으면 Overfitting으로 간주하여 학습을 중단한다.

 

Drop out

지정한 비율의 뉴런을 제거(drop out)하고 학습하는 방법.

테스트 시에는 모든 뉴런을 사용하기 때문에, 여러 Network를 Ensemble한 효과를 가진다.

 

배치 정규화 Batch Normalization

배치 정규화는 중간 Feature들을 그대로 사용하지 않고 변형하여 학습하기 때문에 Overfitting을 개선하는데 도움이 된다.

 

62. 효과적으로 사용할 수 있는 기법 - 02. (STEP 1) 추가적인 손실 함수

정규화 기법 Regularization

. 알고리즘의 일반화(Generalization)를 개선하려는 모든 기법

. 정규화 기법을 도입하면서 Loss 값이 감소하는 것을 기대하면 안됨

. 흔히 최적화에 추가적인 손실 함수를 추가하는 것을 정규화 기법이라 부른다.

 

Weight Decay

Weight의 l-2 Norm을 최소화하는 정규화 기법. Weight가 지나치게 커지는 것을 막는다.

Weight가 지나치게 커져서 Decision boundary가 '복잡해 지는 것'을 막는다고 볼 수 있다.

 

영상 복원 문제 Image Reconstruction

결과물에 대한 주관적인 평가가 중요한 영상 처리 알고리즘은 정규화를 적용하기 좋다.

 

VGG Loss

VGG-16 Network의 특징을 사용하여 구현된 Content Loss (Perceptual Loss)를 많이 사용한다.

물체를 구분하는 데에 특화된 특징을 잘 살리면 좋은 복원 결과일 것이라는 합리적인 생각이다.

 

화질 평가 기법 SSIM , Structural Similarity Index

화질 평가 기법인 SSIM이 최대가 되도록 하는 Loss를 추가하여 MSE에서 보지 않는 구조적인 특성을 반영.

 

 

https://bit.ly/3g72Rmm

딥러닝/인공지능 올인원 패키지 Online. | 패스트캠퍼스