one of a kind scene

분산 데이터 저장 기술 part3_NoSQL 데이터베이스 NoSQL 데이터베이스 = 비관계형(비정형) 데이터베이스 관리 시스템 = 비정형 데이터베이스 = 즉, 데이터베이스 종류 : 구글 빅테이블, HBase, 아마존 SimpleDB 1. 개념 및 특징 • NoSQL은 빅데이터 분산처리 및 저장기술과 함께 발달된 분산 데이터베이스 기술 확장성/가용성/높은 성능 제공 • SQL 계열 쿼리 언어를 사용할 수 있어서 Not Only SQL로 불리기도함 • NoSQL은 key와 value의 형태로 자료를 저장, 빠르게 조회할 수 있는 자료 구조 제공 • 스키마 없이 동작, 구조에 대한 정의 변경 없이 자유롭게 데이터베이스의 레코드에 필드 추가 가능 • 전통적인 RDBMS의 장점인 JOIN 연산 기능은 미지원 • ..

분산 데이터 저장 기술 part2_데이터베이스 클러스터 데이터베이스 클러스터 1. 개념 ① 데이터베이스 클러스터는 하나의 데이터베이스를 여러 개의 서버(또는 가상 서버) 상에 구축하는 것을 의미 ② 데이터베이스 파티셔닝은 데이터베이스를 여러 부분으로 분할하는 것을 의미. 분할된 각 요소는 파티션이라고 함. ③ 각 파티션은 여러 노드로 분할 배치되어 여러 사용자가 각 노드에서 트랜잭션을 수행 2. 데이터베이스 파티셔닝 구현의 효과 ① 병렬처리 : 파티션 사이의 병렬처리를 통해 빠른 데이터 검색 및 처리 성능을 얻을 수 있음 ② 고가용성 : 특정 파티션에서 장애가 발생하더라도 서비스가 중단되지 않는다 ③ 성능향상 : 성능의 선형적인 증가 효과를 볼 수 있다. 3. 데이터베이스 클러스터의 구분 ① 단일 서버 ..

분산 데이터 저장 기술 part1_분산 파일 시스템 분산 파일 시스템 ① 구분 • 분산 데이터 저장 기술은 분산 파일 시스템, 클러스터, 데이터베이스, NoSQL로 구분 ② 구글 파일 시스템(GFS) • GFS는 구글의 대규모 클러스터 서비스 플랫폼의 기반이 되는 파일 시스템 • 파일을 고정된 크기(64MB) 청크(chunk)들로 나누고, 각 chunk에 대한 여러 개의 복제본과 chunk를 청크서버에 분산ㆍ저장한다. • GFS에서는 트리 구조가 아닌 해시 테이블 구조 등을 사용함으로써 메모리상에서 보다 효율적인 메타데이터의 처리를 지원 • chunk는 마스터에 의해 생성/삭제될 수 있으며, 유일한 식별자에 의해 구별 • GFS는 저가형 서버로 구성된 환경으로 서버의 고장이 빈번히 발생할 수 있다고 가정..

대용량의 비정형 데이터 처리방법 1. 대용량 로그 데이터 수집 ① 로그(log) • 로그(log)는 기업에서 발생하는 대표적인 비정형 데이터로, 과거에는 문제 상황 보존을 위해 사용했고 • 최근에는 마케팅/영업 전략 수립을 위한 사용자의 행태 분석 등에 사용 • 용량이 방대하기 때문에 이를 분석하기 위해서는 고성능과 확장성을 가진 시스템이 필요 • 로그 데이터 수집 시스템의 예 : 아파치 Flume_NG, 페이스북 Scribe, 아파치 Chukwa 등 ② 대용량 비정형 데이터 수집 시스템의 특징 • 초고속 수집 성능과 확장성 • 데이터 전송 보장(안전성) 매커니즘 - 성능과 안전성이라는 트레이드 오프(Trade-Off)가 존재 • 다양한 수집과 저장 플러그인 - 다양한 비정형 데이터를 몇가지 설정만으로도..

데이터 통합 및 연계 기법 1. 데이터 연계 및 통합 아키텍쳐 비교(동기화 기준) ① 일괄(Batch) 통합 : 비실시간 데이터 통합, 대용량 데이터 대상, 높은 데이터 조작 복잡성 ② 비동기식 실시간 통합 : 근접 실시간 데이터 통합, 중간 용량 데이터, 중간 데이터 조작 복잡성 ③ 동기식 실시간 통합 : 실시간 데이터 통합, 목표 시스템 데이터 처리 기능시에만 원천 데이터 획득, 데이터 재처리 불가 2. 데이터 처리 기법 비교(전통적 처리 기법 vs 빅데이터 처리 기법) ① 전통적 데이터 처리 기법 : OLAP가 대표적 ② 빅데이터 처리 기법 : 시각화가 있다는게 핵심

EAI(Enterprise Application Integraion) 1. EAI란? - EAI는 비즈니스 프로세스를 중심으로 기업 내 각종 애플리케이션간의 상호연동이 가능하도록 통합하는 솔루션 - 기업 내 또는 기업 간 상호 이질적 정보 시스템들의 데이터를 연계함으로써 상호 융화 내지 동기화돼 동작하도록 하는 것 - ETL은 배치 프로세스 중심 / EAI는 실시간 혹은 근접 실시간 처리 중심 2. 데이터 연계 방식 ① 기존의 데이터 연계 방식 : Point to Point • 필요에 따라 정보 시스템들 간의 데이터를 포인트 투 포인트 방식으로 연계함으로써 위의 왼쪽 그림과 같이 복잡성 발생 ② EAI의 데이터 연계 방식 : Hub and Spoke • 가운데 지점에 허브(Hub)역할을 하는 걸 브로커 ..