one of a kind scene

분산 컴퓨팅 기술 part2_병렬 쿼리 시스템(Sawzall, Pig, Hive) 병렬 쿼리 시스템 : 사용자가 MapReduce를 쉽게 사용할 수 있도록 새로운 쿼리 언어로 추상화된 시스템 → Sawzall, pig, Hive 등이 있으며, 실시간 데이터 처리 기술인 SQL on Hadoop과는 다르다 1. 병렬 쿼리 시스템의 개요 • 구글이나 하둡의 MapReduce는 개발자들에게 구현하려는 알고리즘에만 포커싱 할 수 있도록 간단한 프로그래밍 모델을 제공 • But, MapReduce 코딩도 어려워하는 경우가 발생 • 따라서, 직접 코딩하지 않고도 쉽고 빠르게 서비스 혹은 알고리즘을 구현하고 적용할 수 있는 환경에 대한 필요성이 대두 • 사용자에게 친숙한 쿼리 인터페이스를 통해 병렬 처리를 할 수 있..

대용량의 비정형 데이터 처리방법 1. 대용량 로그 데이터 수집 ① 로그(log) • 로그(log)는 기업에서 발생하는 대표적인 비정형 데이터로, 과거에는 문제 상황 보존을 위해 사용했고 • 최근에는 마케팅/영업 전략 수립을 위한 사용자의 행태 분석 등에 사용 • 용량이 방대하기 때문에 이를 분석하기 위해서는 고성능과 확장성을 가진 시스템이 필요 • 로그 데이터 수집 시스템의 예 : 아파치 Flume_NG, 페이스북 Scribe, 아파치 Chukwa 등 ② 대용량 비정형 데이터 수집 시스템의 특징 • 초고속 수집 성능과 확장성 • 데이터 전송 보장(안전성) 매커니즘 - 성능과 안전성이라는 트레이드 오프(Trade-Off)가 존재 • 다양한 수집과 저장 플러그인 - 다양한 비정형 데이터를 몇가지 설정만으로도..