1장 통계분석_정규화 선형회귀(Regularized Linear Regression)와 일반화 선형회귀(GLM)

정규화 선형회귀(Regularized Linear Regression)

1. 라쏘회귀

- 가중치들의 @절대값의 합@을 최소화하는 것을 제약조건으로 추가

- 규제 방식은 L1 Penalty 라고 함

- 중요하지 않은 가중치는 0이 될 수 있음(=가중치의 모든 원소가 0에 가까워지는 것을 원함)

 

2. 릿지회귀

- 가중치들의 @제곱합@을 최소하하는 것을 제약 조건으로 추가

- 규제 방식 L2 Penalty 라고 함

- 가중치는 0에 가까워질 뿐 0이되지 않는다

- 람다가 커지면 → 가중치 값은 작아지고 정규화 정도는 커짐

  람다가 작아지면 → 가중치 값은 커지고 정규화 정도는 작아짐

 

3. 엘라스틱 넷

- 릿지회귀와 라쏘회귀를 절충한 모델

- 가중치 절대값의 합과 제곱합을 동시에 제약 조건으로 추가

- 람다1과 람다2라는 두 개의 하이퍼 모수 갖는다

 

일반화 선형 회귀(GLM, Generalized Linear Regression)

1. 언제 사용?

- 종속변수(=Y)가 범주형 자료이거나 정규성을 만족하지 못할때 일반화 선형모델을 이용해 회귀분석을 한다

 

2. 일반화 선형 모형의 3가지 성분

- 랜덤 성분 : 종속변수(=Y)의 확률분포를 규정하는 성분

- 체계적 성분 : Y의 기대값 E(Y)를 정의하는 설명변수들 간의 선형 결합(선형식)

- 연결 함수 : 랜덤 성분과 체계적 성분을 연결하는 함수