Introduction

Decision Tree Learning

Input과 Output간의 관계를 알기 위해서 Tree Model을 사용해보자.

Untitled

위와 같은 Decision Tree로 Target에 대한 결정을 내리려고 한다. 예를 들어서 '토요일 아침에 테니스를 치러 나가도 될까'를 Target으로 정해보자.

Target에 대하여 고려해야 할 것들이 있다. Outlook , Humidity, Wind등을 고려해야 하는데 이것들을 Tree에서 Attribute라고 부른다. 문제를 해결하기 위해 고려해야할 적절한 Attribute를 정해줘야 한다. Outlook에 대하여 Sunny, Overcast, Rain등의 값이 결정된다. 이렇게 Attribute를 표현할 수 있는 값을 Value라고 부른다.

Decision Tree는 Attribute들 간의 연결과 분리를 표현해준다.

Strategy for Decision Tree

Appropriate Problems for Decision Tree Learning

Decision Tree는 아래의 문제들에 적합하다.

  1. 인스턴스들이 Attribute-value쌍으로 표현 될때
  2. Target Function이 Discrete Output Value일 때
  3. Disjunctive Descriptor가 필요할 때
  4. Training Data가 Error를 포함할 때
  5. Training Data가 잘못된 Attribute value를 포함할 때

Basic Algorithm : ID3

ID3 Algorithm (Quinlan 1993)

Decision Tree를 만들기 위한 ID3 Algorithm이 있다. 그 절차를 알아보자.