[ADP 대비] 5장_4절 정형 데이터 마이닝_인공신경망 분석

인공신경망 분석

본문1 크기로 주제 내 소주제에 대한 간단한 정의를 써준다

 

1. 인공신경망 주요 연구 이슈

     • 연결강도(weight)를 조정하는 학습규칙과 퍼셉트론(Perceptron)이라는 인공세포 개발됨

     • 비선형성의 한계점 발생 : XOR(Exclusive OR)문제를 풀지 못하는 한계 발생

     • 역전파알고리즘(Backpropagation)을 활용하여 비선형성을 극복

        → 비선형성을 극복한다계층 퍼셉트론으로 새로운 인공신경망 모형 등장

 

2. 활성 함수(activation function) = 전이함수

(그림) 활성함수(activation function)의 종류

3. 신경망 모형 구축시 고려사항

     ① 입력변수

          • 신경망 모형은 그 복잡성으로 인하여 입력 자료의 선택에 매우 민감

          • 연속형 변수 : 평균을 중심으로 대칭이 아니면 좋지 않은 결과를 도출할 수 있음

                (예)

                 - 고객의 소득(대부분 평균미만이고 특정 고객의 소득이 매우 큼) → 로그변환

                 - 범주화를 통해 각 범주의 빈도가 비슷하게 되도록 설정

          • 범주형 변수 : 범주화 변수의 경우 가변수화(남녀 : 1, 0 또는 1, -1)하여 적용하고 가능하면 모든 범주형 변수는 같은 범위를 갖도록 가변수화 하는 것이 좋음

          (변수별 신경망 모형에 적합 조건)

범주형 변수	모든 범주에서 일정 빈도 이상의 값을 갖고, 각 범주의 빈도가 일정
연속형 변수	입력변수 값들의 범위가 변수간의 큰 차이가 없을때 (따라서, 표준화 필요)

     ② 가중치(Weight)의 초기값과 다중 최소값 문제

          • 역전파 알고리즘은 초기값에 따라 결과가 많이 달라짐 → 초기값 설정은 매우 중요한 문제

          • 일반적으로 가중치의 초기값은 0 근처로 랜덤하게 선택

          • 가중치가 0에 가까울수록 선형모형에 가깝고 가중치 값이 증가할수록 비선형모형이 됨

 

     ③ 과대 적합 문제 (Over Fitting)

          • 신경망에서는 많은 가중치를 추정해야하므로 과대적합 문제가 빈번함

          • 알고리즘 조기종료, 가중지 감소 기법(weight decay)으로 해결 가능

          • 알고리즘 조기종료는 모형이 적합하는 과정에서 검증오차가 증가하기 시작하면 시행함

          • 선형모형의 능형회귀(Ridge, L2 Penalty)와 유사한 가중치 감소라는 벌점화 기법을 활용