일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | ||||||
2 | 3 | 4 | 5 | 6 | 7 | 8 |
9 | 10 | 11 | 12 | 13 | 14 | 15 |
16 | 17 | 18 | 19 | 20 | 21 | 22 |
23 | 24 | 25 | 26 | 27 | 28 |
- dict
- cross validation
- Sawzall
- 결정계수
- pig
- merge
- hive
- list
- T-검정
- 딕셔너리
- 분산분석
- 분포
- DBSCAN
- DataFrame
- 다중공선성
- 병렬 쿼리 시스템
- pca
- 데이터프레임
- 유사도
- Python
- 밀도기반
- join
- p-value
- 교차검증
- k-means
- 하둡
- distribution
- SQL on 하둡
- 가설검정
- SPLIT
- Today
- Total
목록ADP/이론 (34)
one of a kind scene
I/O 가상화 하나의 물리적인 장비에 여러 개의 가상머신이 실행되고 있는 상황에서 가장 문제가 되는 것은 I/O에서의 병목 현상 1. I/O 가상화 개요 • 하나의 물리적인 장비에 여러 개의 가상머신이 실행되고 있는 상황에서 가장 문제가 되는 것은 I/O에서의 병목 현상 • 따라서, CPU 자원의 파티셔닝만으로는 가상화 기술을 제대로 활용할 수 없으며, I/O자원의 공유 및 파티셔닝이 필요 • 또한 하나의 물리적 머신에서 운영되는 가상머신 간에도 통신이 이루어져야 하며, 이를 위해 1)가상 이더넷, 2)가상 디스크 어댑터, 3)공유 이더넷 어댑터 등과 같은 기술들이 사용됨 2. I/O 가상화 종류 ① 가상 이더넷 : 물리적인 네트워크 없이도 버스를 통해 통신 가능 • 가상 이더넷은 대표적인 I/O 가상화..
메모리 가상화 메모리 가상화 : VMware기법 - VMware 하이퍼바이저의 핵심 모듈은 VMkernel - Shaodw Page Table 1. 개념 및 특징 • VMware란 한 대의 컴퓨터로 마치 여러 대의 컴퓨터를 사용하는 것과 같이 가상의 공간을 만들어주는 프로그램 • 운영체제는 메모리를 관리하기 위해 물리주소(Physical Address)와 가상주소(Virtual Address)를 사용 설명 물리주소 0부터 시작해서 실제 물리적인 메모리 크기까지 나타냄 가상주소 하나의 프로세스가 가리킬 수 있는 최대 크기를 의미하며 32비트 운영체제에서는 4GB까지 가능 • 프로그램에서의 주소는 물리적인 메모리의 주소 값이 아닌 가상주소 값이다. • 따라서, 가상주소 값의 위치(VPN, Virtual Pa..
CPU 가상화 CPU 가상화에서는 '하이퍼바이저(Hypervisor)'를 떠올리자 1. 하이퍼바이저(Hypervisor)의 개념 및 특징 • 물리적 서버 위에 존재하는 가상화 레이어(층)을 통해 운영체제를 수행하는데 필요한 하드웨어 환경을 가상으로 만들어 준다. • 하이퍼바이저(Hypervisor)는 호스트 컴퓨터에서 다수의 운영 체제를 동시에 실행하도록 하기위한 논리적인 플랫폼(platform)을 의미 • 엄격하게 구분할 경우에는 차이가 있지만 일반적으로 가상머신(Virtual Machine)을 '하이퍼바이저'라고 할 수 있으며, 하이퍼바이저는 VMM(Virtual Machine Monitor)라고도 함 • 하이퍼바이저는 서버 가상화 기술의 핵심으로 x86 계열 서버 가상화에서는 소프트웨어 기반으로 하..
서버 가상화 - 인프라 기술은 클라우드 컴퓨팅의 근간이 되는 기술이며, 인프라 기술들 중에서도 가장 기반이 되는 기술은 서버 가상화 - 클라우드 컴퓨팅 환경에선 x86 계열의 서버가 가장 많이 사용되어 x86 서버 가상화 기술에 대해서 서술함. - x86 계열 서버 군의 가장 큰 특징은 하드웨어, CPU, 운영체제의 공급업체가 모두 다름. - 따라서, 이런 환경 때문에 가상화 기술도 업체에 따라 제공되는 수준이 매우 다양 - 따라서, x86 서버의 가상화 기술은 하나의 업체만으로 설명할 수 없으며, 다른 업체와의 협력 관계와 기술 조합의 안정성 등을 살펴야함 1. 서버 가상화 개념 및 특징 개념 • 물리적인 서버와 운영체제 사이에 적절한 계층을 추가해 서버를 사용하는 사용자에게 물리적인 자원은 숨기고 논..
클라우드 인프라 기술 part1_클라우드 컴퓨팅 클라우드 컴퓨팅 - 초기 클라우드 서비스는 SaaS 중심으로 발전 되었으며, Iaas와 PaaS 형태로 발전 - 클라우드 컴퓨팅의 개념 및 특징 • 클라우드 컴퓨팅은 동적으로 확장 할 수 있는 가상화 자원들을 인터넷으로 서비스하는 기술 • 클라우드 서비스는 IaaS, SaaS, PaaS 등 크게 3가지로 나뉨 구분 정의 사례 IaaS (Infrastructure as a Service) • 네트워크 장비, 서버와 스토리지 등과 같은 IT 인프라 자원을 빌려주는 클라우드 서비스 • VMware, Xen, KVM SaaS (Software as a Service) • 서비스로서의 소프트웨어를 의미하며, 소프트웨어를 웹에서 사용할 수 있게해주는 서비스 • 아마존..
분산 컴퓨팅 기술 part3_SQL on 하둡(임팔라) SQL on 하둡 : 실시간 SQL 질의 분석 기술 중 임팔라에 대해서 살펴봄 임팔라외 SQL on 하둡 참고 2019/11/18 - [ADP] - 4-1 데이터 처리 프로세스_대용량의 비정형 데이터 처리방법 1. SQL on 하둡 개요 • 실시간 처리라는 측면에서 하둡의 제약사항을 극복하기 위한 시도중 하나인 SQL on 하둡은 실시간 SQL 질의 분석 기술 • SQL on 하둡 기술은 하둡에 저장된 대용량 데이터를 대화형식의 SQL 질의를 통해서 처리하고 분석하는 것. 이 중에서 임팔라(Impala)에 대해서 살펴봄 2. 임팔라의 개념 및 특징 • SQL on 하둡 기술 중 먼저 대중에게 공개된 기술, Cloudera(클라우데라)에서 드레멜(Dr..