one of a kind scene

고차원의 데이터를 PCA 알고리즘을 활용하여 저차원으로 축소한 후 시각적으로 보여주는 Biplot에 대해서 알아보자 - Biplot은 각 개체들의 첫번째 주성분(=행), 두번째 주성분(=열) 값을 나타내는 행렬도를 시각화 한것 - 즉, 각 개체가 '행'에는 PC1 값이 표현되고 '열'에는 PC2 값이 표현된다는 것을 뜻하며 이것을 시각화하기때문에 Biplot이라 한다 - Biplot 그림에서 화살표는 웝 - 원변수와 PC간의 관계를 그래프로 표현 그래프 해석방법 1) Biplot 그림에서 화살표는 원변수와 PC의 상관계수를 뜻하며, PC와 평행할수록 해당 PC에 큰 영향. 2) 화살표 벡터의 길이가 원변수의 분산을 표현하며, 길수록 분산이 크다 예시 문제 1) 라면의 종합평가에서 1위는 '짬뽕라면', 2..

연관분석 = 장바구니 분석 = 서열분석 상품의 구매, 서비스 등 일련의 거래 또는 사건들 간의 규칙을 발견하여 IF-THEN의 구조로 분석 결과의 연관성을 파악하는 데이터마이닝 방법론 1. 연관규칙의 척도 ① 지지도(support) • 전체 거래 중 '항목 A'와 '항목 B'를 동시에 포함하는 거래의 비율 • '항목 A'와 '항목 B'를 같이 살 확률 ② 신뢰도(confidence) • 항목 A를 포함한 거래 중에서 '항목 A'와 '항목 B'가 같이 포함된 거래의 비율 • '항목 A'를 샀을때 '항목 A'와 '항목 B'를 같이 살 확률 ③ 향상도(lift) • 그냥 '항목 B'만 샀을때 대비 '항목 A'를 구매하고 '항목 B'를 구매할 확률의 증가비 ④ 향상도 해석 • 연관규칙 A → B는 구매가 서로 ..

K-fold cross validation 언제사용? - 모델이 잘 적합(fitting) 됐는지 확인할 때 1) 주로 over-fitting 여부를 확인할 때 사용 2) 데이터의 양이 충분하지 않을 때(=적을 때) 모델의 성능에 대한 신뢰도를 확보하기 위해 사용 k번 모두 모델의 성능이 일정하면 → 모델의 성능에 대한 신뢰도가 확보됨 - 모델의 성능 향상 1) k번 학습을 통해 만들어진 k개의 모델을 활용하여 앙상블(Ensemble)모델을 만든다면, 모델의 성능향상을 기대할 수 있음(예 : Bagging, Boosting) 2) k번 학습을 통해 만들어진 k개의 모델에서 나온 parameter들의 평균값으로 완벽하진 않지만 납득할 수 있는 parameter값을 찾을 수 있음 장점? - data set을 ..

군집분석 SOM(Self-Organizing Map) 자가조직화지도(SOM) 알고리즘은 코호넨에 의해 제시, 개발되어 코호넨 맵이라고도 알려짐 SOM은 비지도 신경망 고차원의 데이터를 이해하기 쉬운 저차원의 뉴런으로 정렬하여 지도의 형태로 형상화 입력층과 경쟁층으로 이루어짐 1. SOM이란? • SOM은 비지도 신경망으로 고차원의 데이터를 이해하기 쉬운 저차원의 뉴런으로 정렬하여 지도의 형태로 형상화 함 • 이러한 형상화는 입력 변수의 위치 관계를 그대로 보존한다는 특징이 있음 • 실제 공간의 입력 변수가 가까이 있으면 지도상에도 가까운 위치에 있게됨 2. SOM의 구성 : 입력층과 경쟁층 이라는 두 개의 인공신경망 층으로 구성됨 ① 입력층(Input layer : 입력벡터를 받는 층) • 입력 변수의 ..

군집분석 혼합 분포 군집(mixture distribution clustering) GMM 알고리즘이 혼합 분포 군집에 해당 1. 혼합 분포 군집이란? • 모형 기반(model-based)의 군집 방법 • 데이터가 k개의 모수적 모형(흔히 정규분포 or 다변량 정규분포를 가정함)의 가중합으로 표현되는 모집단 모형으로부터 나왔다는 가정하에서 모수와 함께 가중치를 자료로부터 추정하는 방법 • k개의 모수적 모형은 각각 군집을 뜻함 • 즉, 데이터들은 k개의 모수적 모형에서 왔고, 각각의 데이터들이 k개의 모형에 속할 확률을 구해서 군집화하는 방식 • k개의 모형들을 혼합하면 데이터들의 분포 모양이 나온다고 생각하자 → 다봉형 형태를 생각해보자 • 따라서, 아래와 그림과 같이 다양한 분포로부터 나온 데이터들을..

군집분석 군집분석은 비교사 학습(Unsupervised learning)의 대표적인 방법론 - 계층적 군집분석 : 전통적 군집분석 방법, 군집의 갯수를 제일 나중에 선정 - 비계층적 군집분석 : 군집의 개수를 제일 먼저 선정 1. 계층적 군집 vs 분할적 군집 Linkage Method (참고) *와드 연결법 : 군집내 편차들의 제곱합을 고려한 방법 2. 거리계산 방식 ① 연속형 변수의 경우 구분 특징 유클리디안 거리(=L2 거리) • 가장 많이 사용되는 일반적인 거리계산 방식 • 통계적 개념이내포되지않아 변수들의 산포 정도가 전혀 감안되지 않음 표준화 거리 • 통계적 개념이 내포된 거리계산 방식 • 변수를 표준편차(D)로 척도 변환한 후 유클리디안 거리를 계산하는 방식 • 표준편차로 척도 변환(=표준화..