2장 정형 데이터마이닝_변수선택(Feature Selection)

변수선택(Feature Selection)

1. 언제사용?

     - 데이터의 독립변수(=x) 중 y값에 가장 관련성이 높은 변수(feature)만을 선정하는 방법

     - 변수를 선택하면 모델의 정확도 향상 및 성능 향상을 기대해 볼 수 있음

 

2. 종류

    - Filter Method

      • 각각의 변수들에 대해 통계적인 점수를 부여 → 이 점수를 바탕으로 변수의 순위를 매기고 변수 선택

      ex) Chi squared test, information gain, correlation coefficient scores 등

 

    - Wrapper Method

      • 변수간의 상호 작용을 감지 할 수 있도록 변수의 일부만을 모델링에 사용한 후 그 결과를 평가하는 작업을 반복하면서 변수를 선택해 나가는 방법

      ex) Recursive feature elimination algorithm

 

    - Embedded Method

      • Filer Method + Wrapper Method 

      • 두 방법(Filer Method, Wrapper Method)을 결합하여 어떤 변수가 가장 크게 기여하는지를 찾아내는 방법

      • 과적합을 줄이기 위해 내부적으로 규제를 가하는 방식이 사용됨

      ex) LASSO, Ridge Regression, Elastic Net 등