Notice
Recent Posts
Recent Comments
Link
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | |||
| 5 | 6 | 7 | 8 | 9 | 10 | 11 |
| 12 | 13 | 14 | 15 | 16 | 17 | 18 |
| 19 | 20 | 21 | 22 | 23 | 24 | 25 |
| 26 | 27 | 28 | 29 | 30 | 31 |
Tags
- 가설검정
- merge
- join
- 데이터프레임
- 딕셔너리
- 유사도
- 분포
- k-means
- DataFrame
- 하둡
- cross validation
- dict
- list
- 분산분석
- p-value
- DBSCAN
- T-검정
- pca
- 결정계수
- 다중공선성
- SQL on 하둡
- SPLIT
- hive
- Sawzall
- 병렬 쿼리 시스템
- distribution
- 교차검증
- pig
- Python
- 밀도기반
Archives
- Today
- Total
목록chunk (1)
one of a kind scene
4-2 데이터 처리 기술_분산 데이터 저장 기술 part1_분산 파일 시스템
분산 데이터 저장 기술 part1_분산 파일 시스템 분산 파일 시스템 ① 구분 • 분산 데이터 저장 기술은 분산 파일 시스템, 클러스터, 데이터베이스, NoSQL로 구분 ② 구글 파일 시스템(GFS) • GFS는 구글의 대규모 클러스터 서비스 플랫폼의 기반이 되는 파일 시스템 • 파일을 고정된 크기(64MB) 청크(chunk)들로 나누고, 각 chunk에 대한 여러 개의 복제본과 chunk를 청크서버에 분산ㆍ저장한다. • GFS에서는 트리 구조가 아닌 해시 테이블 구조 등을 사용함으로써 메모리상에서 보다 효율적인 메타데이터의 처리를 지원 • chunk는 마스터에 의해 생성/삭제될 수 있으며, 유일한 식별자에 의해 구별 • GFS는 저가형 서버로 구성된 환경으로 서버의 고장이 빈번히 발생할 수 있다고 가정..
ADP/이론
2019. 11. 21. 21:05