일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | ||||||
2 | 3 | 4 | 5 | 6 | 7 | 8 |
9 | 10 | 11 | 12 | 13 | 14 | 15 |
16 | 17 | 18 | 19 | 20 | 21 | 22 |
23 | 24 | 25 | 26 | 27 | 28 | 29 |
- distribution
- Python
- T-검정
- 교차검증
- 하둡
- 다중공선성
- dict
- DBSCAN
- pca
- list
- 딕셔너리
- 가설검정
- 밀도기반
- merge
- DataFrame
- 병렬 쿼리 시스템
- 결정계수
- hive
- SQL on 하둡
- Sawzall
- 데이터프레임
- 분포
- 유사도
- 분산분석
- k-means
- p-value
- pig
- SPLIT
- cross validation
- join
- Today
- Total
목록2020/02/02 (5)
one of a kind scene
K-fold cross validation 언제사용? - 모델이 잘 적합(fitting) 됐는지 확인할 때 1) 주로 over-fitting 여부를 확인할 때 사용 2) 데이터의 양이 충분하지 않을 때(=적을 때) 모델의 성능에 대한 신뢰도를 확보하기 위해 사용 k번 모두 모델의 성능이 일정하면 → 모델의 성능에 대한 신뢰도가 확보됨 - 모델의 성능 향상 1) k번 학습을 통해 만들어진 k개의 모델을 활용하여 앙상블(Ensemble)모델을 만든다면, 모델의 성능향상을 기대할 수 있음(예 : Bagging, Boosting) 2) k번 학습을 통해 만들어진 k개의 모델에서 나온 parameter들의 평균값으로 완벽하진 않지만 납득할 수 있는 parameter값을 찾을 수 있음 장점? - data set을 ..
군집분석 SOM(Self-Organizing Map) 자가조직화지도(SOM) 알고리즘은 코호넨에 의해 제시, 개발되어 코호넨 맵이라고도 알려짐 SOM은 비지도 신경망 고차원의 데이터를 이해하기 쉬운 저차원의 뉴런으로 정렬하여 지도의 형태로 형상화 입력층과 경쟁층으로 이루어짐 1. SOM이란? • SOM은 비지도 신경망으로 고차원의 데이터를 이해하기 쉬운 저차원의 뉴런으로 정렬하여 지도의 형태로 형상화 함 • 이러한 형상화는 입력 변수의 위치 관계를 그대로 보존한다는 특징이 있음 • 실제 공간의 입력 변수가 가까이 있으면 지도상에도 가까운 위치에 있게됨 2. SOM의 구성 : 입력층과 경쟁층 이라는 두 개의 인공신경망 층으로 구성됨 ① 입력층(Input layer : 입력벡터를 받는 층) • 입력 변수의 ..
군집분석 혼합 분포 군집(mixture distribution clustering) GMM 알고리즘이 혼합 분포 군집에 해당 1. 혼합 분포 군집이란? • 모형 기반(model-based)의 군집 방법 • 데이터가 k개의 모수적 모형(흔히 정규분포 or 다변량 정규분포를 가정함)의 가중합으로 표현되는 모집단 모형으로부터 나왔다는 가정하에서 모수와 함께 가중치를 자료로부터 추정하는 방법 • k개의 모수적 모형은 각각 군집을 뜻함 • 즉, 데이터들은 k개의 모수적 모형에서 왔고, 각각의 데이터들이 k개의 모형에 속할 확률을 구해서 군집화하는 방식 • k개의 모형들을 혼합하면 데이터들의 분포 모양이 나온다고 생각하자 → 다봉형 형태를 생각해보자 • 따라서, 아래와 그림과 같이 다양한 분포로부터 나온 데이터들을..
군집분석 군집분석은 비교사 학습(Unsupervised learning)의 대표적인 방법론 - 계층적 군집분석 : 전통적 군집분석 방법, 군집의 갯수를 제일 나중에 선정 - 비계층적 군집분석 : 군집의 개수를 제일 먼저 선정 1. 계층적 군집 vs 분할적 군집 Linkage Method (참고) *와드 연결법 : 군집내 편차들의 제곱합을 고려한 방법 2. 거리계산 방식 ① 연속형 변수의 경우 구분 특징 유클리디안 거리(=L2 거리) • 가장 많이 사용되는 일반적인 거리계산 방식 • 통계적 개념이내포되지않아 변수들의 산포 정도가 전혀 감안되지 않음 표준화 거리 • 통계적 개념이 내포된 거리계산 방식 • 변수를 표준편차(D)로 척도 변환한 후 유클리디안 거리를 계산하는 방식 • 표준편차로 척도 변환(=표준화..
인공신경망 분석 본문1 크기로 주제 내 소주제에 대한 간단한 정의를 써준다 1. 인공신경망 주요 연구 이슈 • 연결강도(weight)를 조정하는 학습규칙과 퍼셉트론(Perceptron)이라는 인공세포 개발됨 • 비선형성의 한계점 발생 : XOR(Exclusive OR)문제를 풀지 못하는 한계 발생 • 역전파알고리즘(Backpropagation)을 활용하여 비선형성을 극복 → 비선형성을 극복한다계층 퍼셉트론으로 새로운 인공신경망 모형 등장 2. 활성 함수(activation function) = 전이함수 3. 신경망 모형 구축시 고려사항 ① 입력변수 • 신경망 모형은 그 복잡성으로 인하여 입력 자료의 선택에 매우 민감 • 연속형 변수 : 평균을 중심으로 대칭이 아니면 좋지 않은 결과를 도출할 수 있음 (예..