뉴럴 네트워크 - MLP (Multi-Layer Perceptron)

Neural Networks

흔히 딥러닝이 인간의 뇌를 모방했다고 하지만, 뇌를 모방했기 때문에 잘 되는 것이라는 말은 조금 틀린 말이다.

 

- 인간의 뇌를 모방한 것?

비행기를 생각해보면 새를 닮진 않은 것처럼(처음 비행체를 개발했을 때에는 새를 모방하려고 했을 것이긴 하지만) 꼭 실제의 어떤 물체를 모방할 필요는 없다고 생각할 수 있다. 실제의 어떤 물체와 비슷해야만 잘 작동하는 것은 아니라는 말이다.

즉, 딥러닝이 인간의 뇌를 모방했기 때문에 잘 되는 것은 아니다.

ex) 역전파 같은 경우는 뇌와는 아무 연관 없는 과정이다.

 

좀 더 정확한 정의는 다음과 같다.

"Neural networks are function approximators that stack affine transformations followed by nonlinear transformations."

"신경망은 아핀 변환에 이어 비선형 변환을 쌓는(반복적으로 일어나는) 함수 근사치(function approximators)이다."
어떤 이미지가 고양이인지 개인지 나타내는 함수가 있다고 할 때, 이를 근사(모방)하는 함수를 만드는 과정이라고 볼 수 있다.

 

---

 

Linear Neural Networks

입력 1차원, 출력 1차원

 

- Backpropagation

Loss값이 줄어들도록 Loss function의 미분(정확히는 w, b에 관해 각각 편미분)을 이용해 w, b를 업데이트하며 최적값을 찾음

 

 

---

MLP (Multi-layer Perception)을 사용한 MNIST classification 실습

(pytorch를 사용했습니다.)

 

MINIST란?

간단한 컴퓨터 비전 데이터 세트