[패스트캠퍼스 수강 후기] 인공지능강의 100% 환급 챌린지 59회차 미션

인공지능강의

PART 5) 딥러닝 최신 트렌드

47. Ch 05. 이미지 복원 (Image Reconstruction) - 02. 복원 모델의 특징

ConvNets for Reconstruction

딥러닝을 이용한 Super-Resolution의 효시인 SRCNN.

SRCNN은 가장 대표적인 Image Reconstruction 모델이다.

 

Classification vs. Reconstruction

.Classification

영상 입력 -> Softmax 출력

입/출력의 크기가 고정 (Dense layer가 존재하기 때문)

샘플 단위로 학습

Discriminative feature 학습

출력을 내기 위해 영상 전체가 필요

 

.Image Reconstruction

영상 입력 -> 영상 출력

입력 크기에 따라 출력 크기가 변화 (Dense layer를 사용하지 않음)

패치 단위로 학습

Generative feature 학습

작은 영역의 출력을 내기 위해서는 해당영역의 Receptive Field만 입력으로 받으면 된다.

 

48. Ch 05. 이미지 복원 (Image Reconstruction) - 03. 복원할 부분에 집중하는 기법 - 1

 

.Generative Image Inpainting

Adobe에서 개발

 

.Contextual Attention

빈 공간을 채우는 Inpainting 알고리즘. 주변 영상의 정보를 끌어와서 내용을 채우는 특징이 있다.

 

.Overall Architecture

전체 구조를 보면, 크게 2-Stage로 되어 있으며 Fully Convolutional한 특징이 있다.

L-1 Loss와 더불어 Global과 Local GAN Loss를 사용한다.(WGAN-GP)

 

Spatial Discounted Loss

w= r^l(r=0.99), Known Pixel로부터 거리가 멀 수록 L-1 loss의 신뢰도가 낮다. 이것을 수학적으로 정의한 것!

 

Contextual Attention

Hole 영역(Foreground)와 유사한 영역을 Cosine similarity를 이용해 찾아낸다.

해당 영역의 Feature를 이용해 영상을 Deconvolution하여 복원한다.

 

 

https://bit.ly/3g72Rmm

딥러닝/인공지능 올인원 패키지 Online. | 패스트캠퍼스