Gaussian Mixture Model (GMM)

= Mixture of Gaussian

• 하나의 점 또는 Data인 $x$를 어떤식으로 표현해야 가장 잘 표현할 수 있을 까?
  • 확률표현
• 여러 Gaussian을 Ensemble한다.
  • 하나의 Guassian을 사용했을 때 보다 더 풍부한 클래스의 밀도를 제공한다.

$$ p(x) = \sum_z p(x, z)\\ = \sum_z p(x|z)p(z)\\=\sum_{k=1}^K \pi_k\cdot p(x|z) $$

• Joint Distribution $p(x, z)$
  • $z$ : random variable
    • $z\in\{0, 1\}$
      • 이 Gaussian을 사용했나? 안헀나?를 나타내는 indicator
      • $\sum_{k=1}^Kz_k = 1$
  • Bayes Rule에 의해 $p(x|z)p(z)$
    • $p(z)$는 이 Gaussian을 사용할 확률을 나타낸다.
      • $p(z) = \pi_k$로 나타냄

• 여러 Gaussian이 존재하는데 각각의 Gaussian이 $x$를 나타내는 기여도가 가 다르다.
  • 이것에 대한 weight의 역할을 하는 것이 $\pi_k$이다.

이것을 다시쓰면 아래와 같다.

$$ p(\mathbf x) = \sum_{k=1}^K \pi_k N(\mathbf x|\mathbf\mu_k, \mathbf \Sigma_k) $$

• $N(\mathbf x| \mathbf \mu _k, \mathbf \Sigma _k)$ : Normal Distribution
  • Normal Distribution은 평균과 공분산만 알고 있으면 된다.
    • $k$개의 Gaussian이 존재하기 때문에 $k$를 쓴다.

Formulation of Gaussian mixtures

• Marginal probability of $\mathbf x$
  • 모든 가능한 $\mathbf z$를 더해서 구한다.

$$ p(\mathbf x) = \sum_\mathbf z p(\mathbf x, \mathbf z) = \sum_z p(\mathbf z)p(\mathbf x|\mathbf z) = \sum_{k=1}^K \pi_k N(\mathbf x| \mathbf \mu_k, \mathbf \Sigma_k) $$

Responsibility : $\gamma(z_k)$ ⭐

• 여기서 $\mathbf x$가 주어졌을 때 $\mathbf z$의 조건부 확률을 생각해보자.
  • 어떤 $\mathbf x$가 주어졌을 때 $k$번째 Gaussian이 활성화될 확률 → $\mathbf x$가 주어졌을 때 $k$번째 Gaussian이 얼마나 책임질 것이냐!
  • 이것을 $\gamma(z_k)$라고 하고 아래와 같이 정의한다.
    • Bayes Rule을 이용해서
      • $p(A|B)\simeq P(B|A)P(A)$

$$ \gamma(z_k)\equiv p(z_k=1|\mathbf x) = \frac{p(z_k=1)p(x|z_k=1)}{\sum_{j=1}^Kp(z_j=1)p(x|z_j=1)}\\ =\frac{\pi_k N(\mathbf x|\mathbf\mu_k, \mathbf\Sigma_k)}{\sum_{j=1}^K\pi_jN(\mathbf x|\mathbf\mu_j, \mathbf \Sigma_j)} $$

(참고) Gaussian Distribution 표현