분류 전체보기

Convolution

Convolution(+Pooling)을 하는 이유 Feature extraction (강조, 외곽선을 따는 등의 효과를 줄 수 있음) Fully connected layer Decision making (ex. 분류, 회귀) 최근에는 이 fully connected layer를 줄이는 추세 Why? 더보기 파라미터가 많을수록 학습이 어렵고 generalization performance(학습 데이터가 아닌 데이터에 대한 성능)이 낮아지므로 1X1 Convolution** bottleneck architecture depth가 깊어져도 파라미터 수는 늘어나지 않도록.. Filter : stride크기만큼 지나가면서 conv연산할 때 쓰이는 것, 필터와 비슷할 수록 연산값이 크다. 즉 필터와 얼마나 같은지..

Optimization

Optimization 목차 Generalization Under-fitting, over-fitting Cross validation Bias-variance tradeoff Bootstrapping Bagging and boosting Gradient Descent Methods Batch-size 정하기 Optimizer 종류 Generalization Generalization이 좋다 = Test error와 Training error 차이가 적다 != 실제로 좋은 모델이다* *training error가 크고 test error와 차이가 적으면 (둘 다 error가 크면) generalization이 좋아도 성능은 나쁜 것.. Under-fitting, over-fitting Cross vali..

뉴럴 네트워크 - MLP (Multi-Layer Perceptron)

Neural Networks 흔히 딥러닝이 인간의 뇌를 모방했다고 하지만, 뇌를 모방했기 때문에 잘 되는 것이라는 말은 조금 틀린 말이다. - 인간의 뇌를 모방한 것? 비행기를 생각해보면 새를 닮진 않은 것처럼(처음 비행체를 개발했을 때에는 새를 모방하려고 했을 것이긴 하지만) 꼭 실제의 어떤 물체를 모방할 필요는 없다고 생각할 수 있다. 실제의 어떤 물체와 비슷해야만 잘 작동하는 것은 아니라는 말이다. 즉, 딥러닝이 인간의 뇌를 모방했기 때문에 잘 되는 것은 아니다. ex) 역전파 같은 경우는 뇌와는 아무 연관 없는 과정이다. 좀 더 정확한 정의는 다음과 같다. "Neural networks are function approximators that stack affine transformations f..

DL의 대표적인 논문들

AI란? 사람의 기능 모방 AI > ML > DL Key Components of DL Data : 풀려는 문제에 따라 다름(목적에 따라) Model : data를 통해 학습시키는 모델 Loss : 모델을 어떻게 학습할지, 업데이트 할지 - MSE, CE, MLE... Algorithm : 최적화 방법 - SGD, Rmsprop ... AlexNet (2012) CNN 딥러닝의 실제적인 성능 처음 보여줌 DQN (2013) 딥마인드 블록 부수는 인공지능 Encoder / Decoder (2014) 어떤 벡터로 인코딩 기계어 번역 Adam Optimizer (2014) Optimizer 결과가 잘나와서 자주 씀 (그냥 잘되니까..) 웬만하면 잘 된다..! GAN(Generative Adversarial N..

Python 기본 문법

1. 콘솔 출력 관련 1. % format, str.format() print('%s %s' % ('one', 'two')) print('{} {}'.format('one', 'two')) 2. Padding, 소숫점 자릿수 print('%8.2f' % (59.058)) # 결과:___59.06 (총 8칸 앞에 빈칸 3개, 숫자 5칸, 2번째 자릿수까지 표시) print('{0:.2f}' % (59.058)) # 결과:59.06 (2번째 자릿수까지 표시) print("Product: {0:>10s}, Price per unit: {1:10.3f}.".format("Apple", 5.243)) # 10칸, 오른쪽 정렬 3. F-string PEP498에 근거한 formatting 기법 (python 3.6..

Python 개요

1. 파이썬 개요 파이썬의 특징 1 플랫폼 독립적인 인터프리터 언어 - 플랫폼 독립적 = 운영체제에 상관없이 돌아가는 언어 - 인터프리터 = 별도의 번역과정 없이 소스코드를 실행시점에 해석하여 컴퓨터가 처리 파이썬의 특징 2 객체 지향 동적 타이핑 언어 - 객체 지향적 언어 = 실행 순서가 아닌 모듈(객체) 중심으로 프로그램을 작성 - 동적 타이핑 언어 = 프로그램이 실행하는 시점에 프로그램이 사용해야할 데이터에 대한 타입을 결정함. : Dynamic Typing

캐글 기본 사용법

캐글 가입 경진대회 참여 주피터 노트북 생성 파이썬, 라이브러리 버전 확인 위 4가지는 어렵지 않기 때문에 생략했다. 결과 제출하는 방법 1. 제출 파일 만들기 import pandas as pd submission = pd.read_csv('파일경로') # 제출 파일 만들기 # index=False : dataframe의 인덱스를 제외한 채 csv 파일을 만든다. submission.to_csv('submission.csv', index=False) 2. 커밋하기 Save Version 누르기 -> Save 버튼 누르기 잠시 기다리면 커밋이 완료되었다고 알려줌 3. 제출 Viewer에서 Data 탭 누르기 Submit 버튼 누르면 제출 완료, 점수를 확인해볼 수 있다.

딥러닝의 기본 개념(교양)

모두를 위한 딥러닝 강의 시즌1을 듣고 복습한 내용입니다. 딥러닝(Deep Neural Network)의 시작 문제 발생) XOR 문제 해결이 힘들었음 해결) Backpropagation을 알아내서 해결 (Paul Werbos, Hinton) 새로운 문제 발생) neural net이 깊어지면 backpropagation이 잘 안됨 해결) 초기값만 잘 준다면 깊은 신경망도 잘 작동한다. + 깊은 신경망을 이용해 복잡한 문제 해결 가능하다. (Hinton and Bengio)