one of a kind scene

분산 컴퓨팅 기술 part3_SQL on 하둡(임팔라) SQL on 하둡 : 실시간 SQL 질의 분석 기술 중 임팔라에 대해서 살펴봄 임팔라외 SQL on 하둡 참고 2019/11/18 - [ADP] - 4-1 데이터 처리 프로세스_대용량의 비정형 데이터 처리방법 1. SQL on 하둡 개요 • 실시간 처리라는 측면에서 하둡의 제약사항을 극복하기 위한 시도중 하나인 SQL on 하둡은 실시간 SQL 질의 분석 기술 • SQL on 하둡 기술은 하둡에 저장된 대용량 데이터를 대화형식의 SQL 질의를 통해서 처리하고 분석하는 것. 이 중에서 임팔라(Impala)에 대해서 살펴봄 2. 임팔라의 개념 및 특징 • SQL on 하둡 기술 중 먼저 대중에게 공개된 기술, Cloudera(클라우데라)에서 드레멜(Dr..

분산 컴퓨팅 기술 part2_병렬 쿼리 시스템(Sawzall, Pig, Hive) 병렬 쿼리 시스템 : 사용자가 MapReduce를 쉽게 사용할 수 있도록 새로운 쿼리 언어로 추상화된 시스템 → Sawzall, pig, Hive 등이 있으며, 실시간 데이터 처리 기술인 SQL on Hadoop과는 다르다 1. 병렬 쿼리 시스템의 개요 • 구글이나 하둡의 MapReduce는 개발자들에게 구현하려는 알고리즘에만 포커싱 할 수 있도록 간단한 프로그래밍 모델을 제공 • But, MapReduce 코딩도 어려워하는 경우가 발생 • 따라서, 직접 코딩하지 않고도 쉽고 빠르게 서비스 혹은 알고리즘을 구현하고 적용할 수 있는 환경에 대한 필요성이 대두 • 사용자에게 친숙한 쿼리 인터페이스를 통해 병렬 처리를 할 수 있..

분산 컴퓨팅 기술 part1_MapReduce MapReduce는 대용량 데이터를 분산 처리 하기 위한 프로그래밍 모델 1. 개념 및 특징 • MapReduce는 구글에서 분산 병렬 컴퓨팅을 이용하여 대용량 데이터를 처리하기 위한 목적으로 제작한 소프트웨어 프레임 워크 • 분할정복 방식으로 대용량 데이터를 병렬로 처리할 수 있는 프로그래밍 모델 • 분할정복(divide and conquer) : 해결하고자 하는 문제를 성질이 같은 여러 부분으로 나누어 해결한 뒤, 원래 문제의 해를 구하는 방식 • 구글 외에 아파치 하둡에서 오픈 소스 프로젝트로 시작한 자바(Java) 기반의 'Hadoop MapReduce' 프레임 워크가 동일한 기능 지원 • Client의 수행 작업 단위는 맵리듀스 잡(MapReduce..

분산 데이터 저장 기술 part3_NoSQL 데이터베이스 NoSQL 데이터베이스 = 비관계형(비정형) 데이터베이스 관리 시스템 = 비정형 데이터베이스 = 즉, 데이터베이스 종류 : 구글 빅테이블, HBase, 아마존 SimpleDB 1. 개념 및 특징 • NoSQL은 빅데이터 분산처리 및 저장기술과 함께 발달된 분산 데이터베이스 기술 확장성/가용성/높은 성능 제공 • SQL 계열 쿼리 언어를 사용할 수 있어서 Not Only SQL로 불리기도함 • NoSQL은 key와 value의 형태로 자료를 저장, 빠르게 조회할 수 있는 자료 구조 제공 • 스키마 없이 동작, 구조에 대한 정의 변경 없이 자유롭게 데이터베이스의 레코드에 필드 추가 가능 • 전통적인 RDBMS의 장점인 JOIN 연산 기능은 미지원 • ..

분산 데이터 저장 기술 part2_데이터베이스 클러스터 데이터베이스 클러스터 1. 개념 ① 데이터베이스 클러스터는 하나의 데이터베이스를 여러 개의 서버(또는 가상 서버) 상에 구축하는 것을 의미 ② 데이터베이스 파티셔닝은 데이터베이스를 여러 부분으로 분할하는 것을 의미. 분할된 각 요소는 파티션이라고 함. ③ 각 파티션은 여러 노드로 분할 배치되어 여러 사용자가 각 노드에서 트랜잭션을 수행 2. 데이터베이스 파티셔닝 구현의 효과 ① 병렬처리 : 파티션 사이의 병렬처리를 통해 빠른 데이터 검색 및 처리 성능을 얻을 수 있음 ② 고가용성 : 특정 파티션에서 장애가 발생하더라도 서비스가 중단되지 않는다 ③ 성능향상 : 성능의 선형적인 증가 효과를 볼 수 있다. 3. 데이터베이스 클러스터의 구분 ① 단일 서버 ..

분산 데이터 저장 기술 part1_분산 파일 시스템 분산 파일 시스템 ① 구분 • 분산 데이터 저장 기술은 분산 파일 시스템, 클러스터, 데이터베이스, NoSQL로 구분 ② 구글 파일 시스템(GFS) • GFS는 구글의 대규모 클러스터 서비스 플랫폼의 기반이 되는 파일 시스템 • 파일을 고정된 크기(64MB) 청크(chunk)들로 나누고, 각 chunk에 대한 여러 개의 복제본과 chunk를 청크서버에 분산ㆍ저장한다. • GFS에서는 트리 구조가 아닌 해시 테이블 구조 등을 사용함으로써 메모리상에서 보다 효율적인 메타데이터의 처리를 지원 • chunk는 마스터에 의해 생성/삭제될 수 있으며, 유일한 식별자에 의해 구별 • GFS는 저가형 서버로 구성된 환경으로 서버의 고장이 빈번히 발생할 수 있다고 가정..