FCN(Fully Convolution Network)

 

end-to-end : 처음부터 끝까지 알아서 학습을 다해간다.

piexels-to-pixels : 학습을 하고 분류를 하는 모델

기본적인 딥러닝구조 : conv로 featuremap들을 만들고 만든다음 flatten하고 fc_layer에 넣어줌 

분류모델은 fc_layer가 들어가지만 FCN은 fc_layer을 빼버리고 전체의 네트워크 구조를 convolution

구조로 가져감

FCN은 AlexNet, GoogleNet, VGGnet을 finefuning해서 사용했다.

 

FCN은 cnn구조안에서  pooling_1, pooling_2, pooling_3, pooling_4, pooling_5 하게되는데 이때 크기가 1/2, 1/4, 1/8, 1/16, 1/32로 작아지게되고 이렇게 작아진픽셀을 다시 곱하기2, 곱하기4, 곱하기8, 곱하기16, 곱하기4, 곱하기32를

하게되는데(upsampling) 해준다.

 

FCN의 구조

pool5를 가지고와서 2x upsampling2D를 해줘서 pool4의 사이즈랑 똑같이맞춰준후(사이즈를 똑같이 맞춰줘야 계산이 가능하기때문에) 시그마를이용해 더해주고 x16 ->반복

그림을 보면 하면할수록 점점더 구분을 잘해지는것을 볼 수 있다.

 

upsamapling 2D(보간법)

-학습파라미터가 없음

-내 픽셀값을 주변 픽셀값들로 채우는거(이웃보간법)

-등등 보간법은 매우다양

 

transposed conv 2D

-1칸을보고 4칸씩만듦

 

FCN결론 : finefuning을 한후 [ downsampling(pooling) 후 시그마해서 upsampling(이미지보간법을 이용) ]<- 을 반복하면 점점 더 분류를 잘해지는 모델이 되어가는것을 볼 수 있음, layer가 전부 convolution으로 이루어져있다(segmentation은 공간정보가 아주 중요하므로 flatten을 하면 공간정보가 흩어지게 된다. 그래서 FCN은 layer에서 Flatten을 사용하지않고 전부 convolution을 사용했다.)