[PyTorch로 시작하는 딥러닝 기초] 08. Perceptron

edwith의 [부스트코스] 파이토치로 시작하는 딥러닝 기초 의 <Lab-08-1 Perceptron> 강의를 정리한 내용입니다. 

[LECTURE] Lab-08-1 Perceptron : edwith

---

Neuron

실제 신경망의 동작을 참고하여 만든 인공신경망

인공신경망은 뇌에 있는 뉴런의 동작 방식을 본 따 만든 것이다. 뉴런은 입력 신호가 들어왔을 때 입력 신호의 총 값이 임계치를 넘계되면 신호가 다음으로 전파한다.

 

Perceptron

입력값이 있을 때, 가중치를 곱한 값과 bias를 더해 output을 만든다. Ouput을 만드는 과정에는 softmax와 같은 활성화 함수(activation function)를 거쳐 나오게 된다. 1950년대에 개발된 perceptron은 AND와 OR를 해결하기 위해 만들어졌다.

AND, OR, XOR 개념을 그래프로 표현한 것으로, 검은색 원은 '0', 흰색 원은 '1'을 의미한다. 

 

XOR

퍼셉트론 문제를 AND와 OR 문제를 해결할 수 있다. 그러나 민스키가 한 개의 퍼셉트론으로는 XOR 문제를 해결할 수 없다는 것을 발견했다. Multi-layer로 만든 뒤 각 층의 가중치를 학습할 수 없다는 것을 증명하면서, 인공신경망의 암흑기에 빠지게 되었다. 현재는 역전파(backpropagation)으로 이 문제를 해결하고 있다. 

 

참고자료

Perceptrons: The First Neural Networks

Perceptrons: The First Neural Networks