one of a kind scene

분산 컴퓨팅 기술 part3_SQL on 하둡(임팔라) SQL on 하둡 : 실시간 SQL 질의 분석 기술 중 임팔라에 대해서 살펴봄 임팔라외 SQL on 하둡 참고 2019/11/18 - [ADP] - 4-1 데이터 처리 프로세스_대용량의 비정형 데이터 처리방법 1. SQL on 하둡 개요 • 실시간 처리라는 측면에서 하둡의 제약사항을 극복하기 위한 시도중 하나인 SQL on 하둡은 실시간 SQL 질의 분석 기술 • SQL on 하둡 기술은 하둡에 저장된 대용량 데이터를 대화형식의 SQL 질의를 통해서 처리하고 분석하는 것. 이 중에서 임팔라(Impala)에 대해서 살펴봄 2. 임팔라의 개념 및 특징 • SQL on 하둡 기술 중 먼저 대중에게 공개된 기술, Cloudera(클라우데라)에서 드레멜(Dr..

대용량의 비정형 데이터 처리방법 1. 대용량 로그 데이터 수집 ① 로그(log) • 로그(log)는 기업에서 발생하는 대표적인 비정형 데이터로, 과거에는 문제 상황 보존을 위해 사용했고 • 최근에는 마케팅/영업 전략 수립을 위한 사용자의 행태 분석 등에 사용 • 용량이 방대하기 때문에 이를 분석하기 위해서는 고성능과 확장성을 가진 시스템이 필요 • 로그 데이터 수집 시스템의 예 : 아파치 Flume_NG, 페이스북 Scribe, 아파치 Chukwa 등 ② 대용량 비정형 데이터 수집 시스템의 특징 • 초고속 수집 성능과 확장성 • 데이터 전송 보장(안전성) 매커니즘 - 성능과 안전성이라는 트레이드 오프(Trade-Off)가 존재 • 다양한 수집과 저장 플러그인 - 다양한 비정형 데이터를 몇가지 설정만으로도..