프로젝트 설명
[주요 특징]
고객 요구사항은 각 사업장에 적재된 데이터와 다른 GCP 서비스에 적재된 데이터를 수집하고 통합하는 것이었습니다.
GCP Data Fusion으로 ETL을 수행하고 GCP Composer(Airflow 기반)로 전체 워크플로우를 오케스트레이션하도록 구성했습니다.
[네트워킹]
- 각 사업장의 데이터를 수집하기 위해 GCP 네트워크를 Hub-Spoke로 구성
- Hub 네트워크에 전용선(GCP Interconnect)를 구성, 다른 GCP 서비스는 VPC Peering을 구성
[데이터 처리]
- Cloud Composer로 Data Fusion 파이프라인 실행,데이터 전처리 및 분석 작업 등 데이터 로딩 및 준비 과정의 작업 흐름을 정의하고 자동화하도록 구성
- Data Fusion으로 ETL 수행 후 Cloud Storage 및 BigQuery에 데이터 적재하도록 구성
[서비스 레이어]
- BI툴 구성을 위한 VM 구성. VM은 고가용성을 위해 이중화
- DW 메
포트폴리오에 문제가 있나요?