Perceptron 의 정의와 설명
제가 공부한 것을 정리할 겸, 인터넷을 통해 지식을 전달함으로써 제 공부에 도움을 주신 많은 분들처럼 저 또한 누군가에게 도움이 되고자 글을 적어봅니다.
제가 예전에 공부하면서 정리해두었던 내용을 다시 글로써 옮깁니다. 따라서 내용들 안에 잘못된 설명이나 표현들이 있을 수 있습니다. 혹시 그러한 내용을 발견하셨다면 지적 부탁드립니다. 감사합니다.
한국어와 영어가 혼용되는 단어들이 있습니다.(기계학습과 Machine learning 등)
이전 글
Perceptron
인공신경망은 생물체의 신경 시스템을 모방하여 만들었습니다.
그림을 보면 i_n 이 자극으로 뉴런에 입력되면 각각의 자극에 대해 가중치 W_n 을 곱한 뒤 이 값들을 모두 합하여 활성화 함수(Activation function) f 에 입력합니다.
활성화 함수의 입력 값 x 가 임계값(Threshold) θ 보다 같거나 크면 +1 을, 작으면 -1 을 출력하는 경우입니다.
임계값이 0 이고, 출력값은 0과 1인 경우를 그래프로 표현한 것입니다. 이처럼 출력값과 임계값은 사용자의 활성화 함수를 어떻게 정의하느냐에 따라 다릅니다.
이러한 Weighted sum 이 이루어지는 층을 Hidden layer(은닉층) 라고 하고, 신경망을 Hidden layer 의 개수 n 에 따라 n-layer 를 가진 neural network 라고 부르며, 1 layer 를 가진 신경망을 Perceptron(혹은 단층 신경망 Single layer perceptron) 이라 합니다.
1957년에 Rosenbalt 는 퍼셉트론(Perceptron) 이라는 용어 및 개념을 발표했는데, 당시에는 활성함수로 Step fucntion(계단 함수) 를 사용했기 때문에 제약이 많았지만, 입력의 중요도에 따라 출력이 결정되는 수학적 모델로서 의미가 있습니다.
은닉층 영역(빨간 박스) 의 각각의 동그라미들을 Perceptron, 각각의 Perceptron 이 모인 한 개의 층(ex: 초록색 동그라미 영역) 이 layer 가 됩니다.
"Single layer neural network 를 쌓은 것을 다층 신경망(Multi-layer perceptron, MLP) 라고 부르며[Kawaguchi, 2000]", 앞 층 퍼셉트론의 출력은 뒷 층 퍼셉트론의 입력값이 됩니다. 인공신경망은 대체로 MLP 의 형태를 가지며, 역전파(Back propagation) 알고리즘을 통해 신경망의 학습 결과가 기대하는바와 비슷한 결과를 낼 수 있도록 가중치 W_n 을 조정(학습) 합니다. 역전파 알고리즘은 나중에 다루도록 하겠습니다.
이러한 과정을 훈련(Training) 혹은 학습(Learning) 이라고 하며 많은 훈련 데이터를 사용하여 최적의 가중치 값을 찾는 것을 목표로 합니다. 단층 신경망으로는 선형적 분리가 가능한 패턴은 인식할 수 있지만 XOR 문제를 풀 수 없다는 것이 1969년 Minsky 에 의해 증명되었습니다.
다음 글
Perceptron 의 한계(Linear activation function 의 한계)(작성중)
참조
https://en.wikipedia.org/wiki/Perceptron
https://en.wikipedia.org/wiki/Step_function
