목록L1 Penalty (1)

one of a kind scene

1장 통계분석_정규화 선형회귀(Regularized Linear Regression)와 일반화 선형회귀(GLM)

정규화 선형회귀(Regularized Linear Regression) 1. 라쏘회귀 - 가중치들의 @절대값의 합@을 최소화하는 것을 제약조건으로 추가 - 규제 방식은 L1 Penalty 라고 함 - 중요하지 않은 가중치는 0이 될 수 있음(=가중치의 모든 원소가 0에 가까워지는 것을 원함) 2. 릿지회귀 - 가중치들의 @제곱합@을 최소하하는 것을 제약 조건으로 추가 - 규제 방식 L2 Penalty 라고 함 - 가중치는 0에 가까워질 뿐 0이되지 않는다 - 람다가 커지면 → 가중치 값은 작아지고 정규화 정도는 커짐 람다가 작아지면 → 가중치 값은 커지고 정규화 정도는 작아짐 3. 엘라스틱 넷 - 릿지회귀와 라쏘회귀를 절충한 모델 - 가중치 절대값의 합과 제곱합을 동시에 제약 조건으로 추가 - 람다1과 ..
ADP/이론 2019. 11. 13. 20:04
이전 Prev 1 Next 다음