Fundamentals of Machine Learning

Machine Learning Algorithms

• 분류
  • Supervised
    • Regression
    • Classification
  • Unsupervised
  • Refinforcement

Linear Regression

• 개념
  • Hypothesis
  • Cost function (Loss function)
  • Gradient Descent Algorithm
  • Multi-Variable Linear Regression

Evaluating machine Learning Models

• 데이터 분활
  • Training
  • Validation
  • Test
• Hold-out vlaidtion
  • 70%: Train+Val
  • 30%: Test
• k-Fold Cross Validation
  • k개의 training set으로 분할
  • 1개의 Fold를 Validation으로 설정 후 나머지를 Training에 사용
  • k번 반복 → 테스트 성능의 평균을 계산

Overfitting and Underfitting

• Overfitting
  • 해결법
    • Regularization
    • Drop-out
• Underfitting

Fundamentals of Machine Learning - 2

Logistic Regression (Classification)

• 0 또는 1의 값을 갖는 Binary Classification 문제

• ⚠️ Issue!

  • 전혀 다른 범위의 Dataset이 추가되면 Hypothesis가 변형됨
  • Hypothesis변경없이 x에 새로운 값 입력시 범위(0~1)를 벗어날 수 있음
  • ⇒ Logistic Function (Sigmoid)

• Cost Function

  $$ \mathrm{cost} = -\frac 1 m \sum_{i=1}^m y^{(i)}\log\left(H\left(x^{(i)}\right)\right) + (1 - y^{(i)})\log\left(1 - H\left(x^{(i)}\right)\right) $$

Softmax Classification