딥러닝, 머신러닝/DL Basic
CNN - 1x1 convolution의 중요성(AlexNet, VGGNet, GoogleNet, ResNet, DenseNet)
ILSVRC라는 Visual Recognition Challenge와 대회에서 수상을 했던 5개 Network 들의 주요 아이디어와 구조 ILSVRC : ImageNet Large-Scale Visual Recognition Challenge Network list AlexNet 최초로 Deep Learning을 이용하여 ILSVRC에서 수상 5 convolution layers + 3 dense layers (총 8 layers) ReLU 사용 => vanishing gradient problem이 없음 Data augmentation Dropout VGGNet 3x3 Convolution을 이용하여 Receptive field는 유지하면서 더 깊은 네트워크를 구성 Receptive field 참고 자..
Convolution
Convolution(+Pooling)을 하는 이유 Feature extraction (강조, 외곽선을 따는 등의 효과를 줄 수 있음) Fully connected layer Decision making (ex. 분류, 회귀) 최근에는 이 fully connected layer를 줄이는 추세 Why? 더보기 파라미터가 많을수록 학습이 어렵고 generalization performance(학습 데이터가 아닌 데이터에 대한 성능)이 낮아지므로 1X1 Convolution** bottleneck architecture depth가 깊어져도 파라미터 수는 늘어나지 않도록.. Filter : stride크기만큼 지나가면서 conv연산할 때 쓰이는 것, 필터와 비슷할 수록 연산값이 크다. 즉 필터와 얼마나 같은지..
Optimization
Optimization 목차 Generalization Under-fitting, over-fitting Cross validation Bias-variance tradeoff Bootstrapping Bagging and boosting Gradient Descent Methods Batch-size 정하기 Optimizer 종류 Generalization Generalization이 좋다 = Test error와 Training error 차이가 적다 != 실제로 좋은 모델이다* *training error가 크고 test error와 차이가 적으면 (둘 다 error가 크면) generalization이 좋아도 성능은 나쁜 것.. Under-fitting, over-fitting Cross vali..
뉴럴 네트워크 - MLP (Multi-Layer Perceptron)
Neural Networks 흔히 딥러닝이 인간의 뇌를 모방했다고 하지만, 뇌를 모방했기 때문에 잘 되는 것이라는 말은 조금 틀린 말이다. - 인간의 뇌를 모방한 것? 비행기를 생각해보면 새를 닮진 않은 것처럼(처음 비행체를 개발했을 때에는 새를 모방하려고 했을 것이긴 하지만) 꼭 실제의 어떤 물체를 모방할 필요는 없다고 생각할 수 있다. 실제의 어떤 물체와 비슷해야만 잘 작동하는 것은 아니라는 말이다. 즉, 딥러닝이 인간의 뇌를 모방했기 때문에 잘 되는 것은 아니다. ex) 역전파 같은 경우는 뇌와는 아무 연관 없는 과정이다. 좀 더 정확한 정의는 다음과 같다. "Neural networks are function approximators that stack affine transformations f..
DL의 대표적인 논문들
AI란? 사람의 기능 모방 AI > ML > DL Key Components of DL Data : 풀려는 문제에 따라 다름(목적에 따라) Model : data를 통해 학습시키는 모델 Loss : 모델을 어떻게 학습할지, 업데이트 할지 - MSE, CE, MLE... Algorithm : 최적화 방법 - SGD, Rmsprop ... AlexNet (2012) CNN 딥러닝의 실제적인 성능 처음 보여줌 DQN (2013) 딥마인드 블록 부수는 인공지능 Encoder / Decoder (2014) 어떤 벡터로 인코딩 기계어 번역 Adam Optimizer (2014) Optimizer 결과가 잘나와서 자주 씀 (그냥 잘되니까..) 웬만하면 잘 된다..! GAN(Generative Adversarial N..