머신러닝 앙상블(Ensemble) 학습

Reference

앙상블 학습이란?

Ensemble Learning은 여러 개의 분류기를 생성하고, 그 예측을 결합함으로써 보다 정확한 예측을 도출하는 기법이다.

강력한 하나의 모델을 사용하는 대신 보다 약한 모델 여러 개를 조합하여 더 정확한 예측에 도움을 주는 방식이다.

Kaggle같은 곳에서

• XGBoost
• LightGBM

등의 앙상블 알고리즘이 주로 사용된다.

• 앙상블 학습 유형은 아래 3가지 유형으로 나뉜다.
  • 보팅(Voting)
  • 배깅 (Bagging)
  • 부스팅 (Boosting)

보팅 (Voting)

• 여러 개의 분류기가 투표를 통해 최종 예측 결과를 결정하는 방식
• 서로 다른 알고리즘을 여러 개 결합하여 사용
• 보팅 방식
  • Hard Voting
    • 다수의 분류기가 예측한 결과값을 최종 결과로 선정
  • Soft Voting
    • 모든 분류기가 예측한 레이블 값의 결정 확률 평균을 구한 뒤, 가장 확률이 높은 레이블 값을 최종 결과로 선정

배깅 (Bootstrap Aggregating; Bagging)

• 데이터 샘플링(Bootstrap)을 통해 모델을 학습시키고 결과를 집계(Aggregating)하는 방법
• 모두 같은 유형의 알고리즘 기반의 분류기를 사용