Introduction

일상의 대부분의 문제들은 Non Linear하다. 아래와 같은 경우를 생각해보자.

• Kernel Function으로 3차원 공간상에서 Decision Boundary를 정할 수 있다. LInear Classifier가 된다.
• Nonlinera Classifier으로 푸는 방법이 있다. 하지만 이 경우 많은 Feature를 사용해야 하므로 Overfitting이 발생할 여지가 있다.

위의 두 경우는 또한 계산이 매우 오래걸린다. $O(n^2)$.

Neural Network는 이것의 대안이 될 수 있다.

Mimicking the Human Brain

인간의 뉴런을 모방해보자. 아래는 뉴런이 하는 일을 요약한 것이다.

• $x$ : input
• $\theta$ : parameter

먼저 뉴런은 Dendrites으로 부터 Stimuli를 받는다. Stimuli는 $\theta x$로 표현된다. 일종의 score라고 생각할 수 있다. 모든 Stimuli를 취합하여 Aggregate Input이 된다. 이것을 Activation Function에 넣어서 다른 뉴런으로 보낼것 인지 판별한다. Activation Function은 Non Linear함수이다. 이러한 신호는 Axon을 통해 다른 셀로 전달된다.

하나의 뉴런은 Linear Classifier이지만 위의 절차를 누적하는 것으로 우리는 Nonlinear 문제를 해결할 수 있다.

One Neuron

Single Neuron as a linear classifier

뉴런이 하는 일을 Logistic Regression으로 해석할 수 있다. Logistic Regression에서 $g(\sum_i\theta_ix_i+b)$는 확률$p(y_i = 1\mid x_i ; \theta)$로 해석이 가능했다.

• 또 이것의 최적화는 Cross-Entropy를 최소화하는 것이고 MLE과정과 같다고 해석이 가능했다.