딥러닝 - 합성곱 신경망 & AlexNet

합성곱 신경망 ( Convolutional Neural Networks)

• 합성곱 층 (Convolutional layer)과 폴링 층(Pooling or Subsampling layer)으로 구성되어 있다.

 

합성곱 층

• 가중치가 존재
• 제로 패딩(Zero padding) : 현재 층의 높이와 너비를 이전 층과 맞추기 위해 가장자리에 0을 추가
• 스트라이드(Stride) : 합성곱 층에 필터를 적용 시 적용 거리

( 위 : 상위층, 아래 : 하위층 )

• 3 X 3 Filter, st,소ride = 1, 제로패딩 존재
• filter
  • 하나의 필터는 하나의 feature map 만든다. 
  • 다양한 필터가 존재
  • Ex) Blurring 필터, Sharpen 필터, Edge필터 등
  • 이들은 훈련하는 동안 합성곱 층이 자동으로 해당 문제에 가장 유용한 필터를 찾는다.

 

• H : 세로, W : 가로
• F : 필터의 크기
• S : 스트라이드
• P : 제로패딩, (Win - F) / S의 차원이 정수로 나누어떨어지지 않을 수도 있기 때문에 input 이미지의 가장자리에 P만큼 0을 채워주는 제로패딩 적용

풀링 층

• 연산량과 메모리 사용량, 파라미터 수를 줄이기 위해 입력 이미지의 Subsampling을 만드는 것
• 폴링의 종류:
  • Max Pooling : 
  • Average Pooling
  • Min Pooling
• 연산량 : 이미지의 차원을 축소함으로써 필요 연산량을 감소시킬 수 있다.
• 이미지의 가장 강한 특성만을 추출하는 특징 선별 효과 존재
• 일정의 불변성 유지 : 작은 변화에도 일정 수준 내의 불변성을 유지합니다.

 

CNN 기본 구조

 

• 입력 -> 합성곱 층을 다중으로 쌓는다 -> 풀링층을 쌓는다. -> 반복 후 -> 마지막 층에서 소프트 맥스 층에서 결과 예측

 

표준 CNN 모델

• CNN 모델에는 많은 파라미터들이 있습니다.
  • 레이어의 깊이, 필터 사이즈, 풀링 사이즈 등
• 모든 요소들에 대해 분석하여 사용하는 것에 제한이 있어서 기존 잘 동작하는 것이 검증된 표준 CNN모델 사용이 필요
• ILSVRC : ImageNet 데이터베이스의 일부분을 사용하여 정확도를 통해 우승을 가리는 대회

(출처 : ImageNet (devopedia.org)

위 그래프는 ILSVRC 대회에서 우승을 하거나 준우승을 차지한 모델들을 나타낸 것입니다.

 

 

AlexNet

 

입력 : [227x227x3]

CONV1 : [55x55x96] Filter

층	[크기x특성맵]	Filter 크기	스트라이드	패딩	활성화 함수
INPUT	227x227x3	-	-	-	-
CONV1	55x55x96	11x11	4	valid( P = 0 )	ReLU
Max Pooling1	27x27x96	3x3	2	valid	-
CONV2	27x27x256	5x5	1	same( P = 2 )	ReLU
Max Pooling2	13x13x256	3x3	2	valid	-
CONV3	13x13x384	3x3	1	same( P = 1 )	ReLU
CONV4	13x13x384	3x3	1	same( P = 1 )	ReLU
CONV5	13x13x256	3x3	1	same( P = 1 )	ReLU
Max Pooling	6x6x256	3x3	2	valid	-
Dense	크기 : 4096	-	-	-	ReLU
Dense	크기 : 4096	-	-	-	ReLU
출력( Dense )	크기 : 1000	-	-	-	Softmax

 

AlexNet - Overfitting 방지 기법

1. Data Augmentation

• 데이터 증식 : 훈련 이미지를 랜덤하게 여러 간격으로 이동하거나 수평으로 뒤집고 PCA를 통해 테스트 이미지 변경

2. Dropout 50%