[AI_BM과정] 5일차 : AI 영상처리 (Tensorflow/Linear Regression)

[1] 인공지능 기본 개념

 

1. 인공신경망(Artificial Neural Networks, ANNs)

- 인공신경망(Artificial Neural Networks-ANNs-)이란 개념은 1943년에 McCulloch, Warren S., and Walter Pitts.가 발표한 “A logical calculus of the ideas immanent in nervous activity”이란 논문에서 최초로 제안되었다. 
- McCulloch과 Pitts는 인간의 신경 구조를 복잡한 스위치들이 연결된 네트워크로 표현할 수 있다고 제안하였다.

 

 

- 위 뉴런의 구조 그림에서, 뉴런이 여러 수상돌기를 통해 전기신호를 받으면 각각 가중치를
곱하고 특정 값을 더한 후 축색돌기를 통해 이동한다. 그리고 그 값이 어떤 값 이상이라면
신경말단에서 다음 뉴런으로 넘어가고 아니면 넘어가지 않는다.


2. Perceptron

- 1958년에 Frank Rosenblatt이 발표한 “The perceptron: A probabilistic model for information storage and organization in the brain.”이란 논문에서 제시되었다. 
- Rosenblatt은 퍼셉트론(Perceptron)이라는 선형분류를 수행할 수 있는 피드포워드 뉴럴네트워크를 제안


3. Multi-layer perceptron, Backpropagation Algorithm

- MLP는 파라미터가 개수가 많아지면서 적절한 Weight와 Bias를 학습하는 것이 매우 어려웠는데,
McClelland, James L., David E. Rumelhart, and Geoffrey E. Hinton은 Backpropagation Algorithm을 제안해서 이 문제를 해결하였다.

- Backpropagation Algorithm-오류 역전파 알고리즘-은 정방(Feedforward) 연산 이후, 에러(Error)-예측 값과 트루 값과의 오차-를 후방(Backward)으로 다시 보내 줌으로써, 많은 노드를 가진 MLP라도 최적의 Weight와 Bias를 학습할 수 있도록 한다.


4. Deep Neural Network Learning

- MLP는 다른 현실세계의 문제에 잘 작동하지 않고, 레이어를 깊게 쌓을수록 Backpropagation 과정에서 Gradient가 사라지는 Vanishing Gradient Problem 때문에 한계에 직면하게 되고, MLP보다 강력한 성능을 보여주는 SVM과 같은 Kernel Method가 등장함으로써, 인공신경망 연구는 다시 인공지능 학계의 주류에서 밀려나게 된다.


5. Gradient Vanishing

<그래프>

- Backpropagation으로 학습하는 과정 중에 sigmoid의 미분함수가 들어가게 되는데, 아래 그래프에서 보는 것처럼 sigmoid의 미분함수는 최대값이 0.25이고 양끝으로 갈수록 0에 가까워진다.
- 학습이 계속 진행되면서 gradient가 0에 수렴해질 가능성이 생기는 것이다.


6. ReLU (Rectified Linear Unit)
- 기존의 인공신경망은 위에서 언급한 over-fitting 과 gradient vanishing(exploding) problem이 치명적인 결함으로 지적되어 왔었고 이를 해결하기 위해 여러 알고리즘이 발전했는데, 그중에 하나가 ReLu funciton이다.
- ReLu(Rectified Linear Unit) function는 0이하는 0, 0이상은 x값을 가지는 함수로 앞서 언급한 두 문제를 완화시키는데 효과적인 역할을 한다.