Logistic Regression

산출 결과가 0~1사이의 연속된 값을 갖는다면 (확률처럼) 사용할 수 있다. Classification에서 많이 사용된다.

Basic Theories

Model of the logistic regression

이러한 특성으로 인해 sigmoid function(logistic function)을 사용한다.

Untitled

$$ g(z) = \frac{1}{1 + e^{-z}} $$

Hypothesis Representation

따라서 Hypothesis를 아래와 같이 정의한다.

$$ h_\theta(x) = g(\theta^Tx) ={1\over 1 + e^{-\theta^Tx}} $$

Interpretation of hypothesis function

확률의 관점에서 볼 수 있다. $h_\theta(x) = P(y = 1|x, \theta)$ 즉, $x, \theta$가 주어졌을 때 $y$가 True일 확률이다.

Decision boundary

아래와 같이 분류기준을 정할 수 있다.

$$

\begin{aligned}&y= \begin{cases}1, & \text { if } h_{\theta}(x) \geq 0.5 \\0, & \text { if } h_{\theta}(x)<0.5\end{cases}\\ \\&y= \begin{cases}1, & \text { if } \theta^{T} x \geq 0 \\0, & \text { if } \theta^{T} x<0\end{cases}\end{aligned} $$

(Example)

Untitled

Decison boundary (non linear)