4-1 데이터 처리 프로세스_ODS(Operational Data Store)

ODS(Operational Data Store : 운영 데이터 스토어)

 

1. ODS이란?

     - ODS는 데이터에 대한 추가 작업을 위해 다양한 데이터 원천(Source)들로부터 데이터를 추출 및 통합한 데이터베이스

     - ODS 내의 데이터는 향후 비즈니스 지원을 위해 타 정보 시스템으로 이관되거나, 다양한 보고서 생성을 위해 데이터 웨어하우스로 이관된다.

     - ODS는 일반적으로 실시간(Real Time) 또는 실시간 근접(Near Real Time) 트랜잭션 데이터 혹은 가격 등의 원자성(개별성)을 지닌 하위 수준 데이터들을 저장하기 위해 설계

 

2. ODS 구성 단계

     - interface 단계

        • 다양한 데이터 원천(Source)으로부터 데이터를 획득하는 단계

     - 데이터 Staging 단계

        • 데이터 원천들로부터 트랜잭션 데이터들이 추출되어 하나 또는 그 이상의 스테이징 테이블들에 저장되는 단계

           ※ Staging 단어 뜻 : (작업을 위해 임시로 만든)발판

               따라서, 스테이징 테이블은 특정 테이블을 만들기 위한 임시 테이블

     - 데이터 Profiling 단계

        • 범위, 도메인, 유일성 확보 등의 규칙을 기준으로 데이터 품질 점검을 하는 단계

     - 데이터 Cleansing 단계

        • 클렌징 ETL 프로세스(도구)들로 데이터 프로파일링 단계에서 식별된 오류 데이터들을 수정하는 단계

     - 데이터 Integration 단계

        • 수정 완료한 데이터를 ODS 내의 단일 통합 테이블에 적재하는 단계

     - Export 단계

        • 앞 단계에서 통합된 데이터에 대해 익스포트 규칙과 보안 규칙을 반영한 익스포트 ETL기능을 수행해 익스포트 테이블 생성

        • 그 후 다양한 DBMS 클라이언트 또는 데이터 마트, 데이터 웨어하우스에 익스포트 테이블을 적재하는 단계

        • Export 단계를 마친 데이터는 OLAP(Online Analytical Processing) 비정형 질의에 활용 될 수 있다.