CNN - 1x1 convolution의 중요성(AlexNet, VGGNet, GoogleNet, ResNet, DenseNet)

ILSVRC라는 Visual Recognition Challenge와 대회에서 수상을 했던 5개 Network 들의 주요 아이디어와 구조

ILSVRC : ImageNet Large-Scale Visual Recognition Challenge

 

 

Network list

• AlexNet
  • 최초로 Deep Learning을 이용하여 ILSVRC에서 수상
  • 5 convolution layers + 3 dense layers (총 8 layers)
  • ReLU 사용 => vanishing gradient problem이 없음
  • Data augmentation
  • Dropout
• VGGNet
  • 3x3 Convolution을 이용하여 Receptive field는 유지하면서 더 깊은 네트워크를 구성
  • Receptive field 참고 자료
  • Why 3x3 conv? 5x5를 하나 사용하는 것과 3x3 2개를 사용하는 것이 같은 receptive field를 얻고, 더 적은 파라미터를 사용
  • 19 layers
• GoogLeNet
  • Inception blocks 을 제안
    • 중간중간 1x1 conv를 활용해서 파라미터 숫자를 줄임
    • 그림과 설명 추가하기
  • 22 layers
  • 비슷하게 보이는 network가 반복 : network-in-network(NiN)
• ResNet
  • Residual connection(Skip connection)이라는 구조를 제안
  • h(x) = f(x) + x 의 구조
• DenseNet
  • Resnet과 비슷한 아이디어지만 Addition이 아닌 Concatenation을 적용한 CNN