신경망의 발견 - 신경망에서 단순 퍼셉트론, 다중 퍼셉트론, 딥러닝까지

 

​

1. 신경망(Neural Network)

신경망(Neural Network)는 신경 시스템을 모방한 학습 모델이다. 시냅스로 불리는 신경 세포가 정보를 전달하는 과정을 참고하였다. 신경망은 신경 세포의 동작을 단순화해서 뉴런이라는 다수 결합해서 구성하였다. 뉴런은 N 개의 입력을 받아 가중치의 총합이 임계값을 넘는 경우에는 1을 출력하고, 그 이외에는 0을 출력한다. 다수의 뉴런으로 어떻게 구성하느냐에 따라 복잡하고 다양한 계산을 할 수 있다.

 

​

​2. 퍼셉트론(Perceptron)

퍼셉트론(Perceptron)은 인공신경망의 한 종류이다. 1950년대에 프랑크 로젠블라트에 의해 고안되었다. 입력층에서 외부 자극을 받고, 1층에서는 입력층의 가중 압력을 받아 출력층으로 전달하고 출력층은 최종 출력값을 내보낸다. 퍼셉트론은 연결 강도를 조정하기 위해 학습을 반복한다. 이러한 퍼셉트론을 단순 퍼셉트론이라고 하는데 특정한 목적에는 정확한 연결 강도에 수렴이 되고 선형 분리가 가능한 문제에 대해서만 적용할 수 있다. 학습 대상이 한 층으로만 제한되어 있어 XOR 문제와 같은 한계점이 드러났다.​

​

3. 다층 퍼셉트론

다층 퍼셉트론은 1980년대 생겨난 모델이다. 단순 퍼셉트론으로 불가능한 문제를 해결할 수도 있는 가능성을 내포했다. 시그모이드 활성화 함수를 사용하여 여러 개의 중간층을 사용하여 임의의 함수에 대해 정밀하게 조정할 수 있다. 다중 퍼셉트론 학습에서 오차역전파와 확률적 경사 하강법이 중요한 역할을 담당한다. 하지만 목적함수의 비볼록성과 기울기 소실과 같은 문제가 있고 과적합을 이론적으로 제한하기가 어려웠다.

​​

4. 딥러닝(Deep Learning)

2000년대 이후 하드웨어 기술의 발달로 인해 컴퓨팅 파워가 높아져 방대한 계산이 가능해졌고 수많은 데이터를 준비할 수 있게 되어 충분한 학습을 할 수 있게 되었다. 하나의 히든 레이어로 구성된 것은 신경망이고 여러개의 숨겨진 레이어로 구성된 것은 딥러닝이다. 히든 레이어는 서로 연결되어 있고 모델이 최종 출력을 제공하는 방법을 학습하는데 사용된다.​

모든 데이터를 이용해 기울기를 계산하는 것은 비효율적이기 때문에 확률적 경사 하강법을 사용한다. 계산량을 줄일 수 있고 오랜 갱신을 거친 파라미터는 목적 함수를 적절히 나타낸다. ReLU 함수를 사용하여 양의 입력에 관해서는 미분이 1이 되고 음의 입력에 관해서는 0이 된다.