목차

0.프롤로그

1.POC
1.1 도입계기
1.2 POC 목적과 방향
1.3 POC 시나리오
1.4 팀빌딩
1.5 진행 및 결과(ETL, DW, 기타분석플랫폼 연계(BI,SAS)
1.6 피드백

2.구축
2.1 하이브리드 운영을 위한 구축 방법과 계획
2.2 마이그레이션 및 ETL
2.3 연계시스템 테스트 및 데이터 정합성 검증

3.REDSHIFT TECHNOTE
3.1 레드시프트 시작하기
3.1.1 레드시프트 특징(아키텍쳐)
3.1.1 AWS 콘솔에서 서비스 올리기
3.1.2 접속하기(DB툴, ODBC, PYTHON, CLI)

3.2 테이블 생성 및 데이터 적재
3.2.1 실습데이터 소개
3.2.2 유저 및 스키마 생성
3.2.3 테이블 생성 및 수정
- 분산 및 정렬
- ALTER TABLE 이름변경, 컬럼추가, 컬럼삭제, 컬럼이름 수정, 타입변경등
3.2.4 데이터 적재 및 S3로 추출
- INSERT INTO 방식
- S3로 적재(S3→ Redshift) 및 추출(Redshift → S3)
- CLI를 이용하여 적재
- EMBULK를 이용해 적재

3.3 튜닝 및 고급 SQL
3.3.1 테이블 튜닝 및 속도개선 방법
- 분산키 생성
- 정렬키 생성
- ANALYZE & VACUUM
- 파티셔닝
3.3.2 DW에 맞는 쿼리 작성 팁

3.3 레드시프트 ADMIN
3.3.1 관리 모니터링 SQL 모음
3.3.2 권한(테이블, 스키마, 데이터베이스)


4.SPECTRUM TECHNOTE
4.1 스펙트럼 소개(아키텍쳐 및 원리)
4.2 S3 외부테이블 생성 및 생성팁(압축파일 사용 및 다양한 파일형태)
4.3 S3 외부테이블과 레드시프트 내부테이블 조인 등 각각의 활용법
4.4 파티셔닝 방법

5.GLUE TECHNOTE
5.1 GLUE 소개
5.2 메타데이터 관리를 위한 GLUE
5.2.1 데이터베이스 / 테이블 / 연결 / 크롤링
5.3 ETL을 위한 GLUE
5.3.1 작업생성
5.3.2 트리거 및 워크플로우 생성

저는 DW만 13년 넘게 구축 및 운영한 경험이 있는 DW전문가입니다.

현재는 이랜드에서 빅데이터 플랫폼을 구축하여 이커머스, 유통, 패션, 외식, 호텔의 비즈니스를

모두 경험하고 데이터 모델링을 하였으며

최근에는 온프라미스 DW에서 AWS 클라우드 Redshift로 전환을

성공적으로 구축하여 안정화 하였습니다.

처음 구축당시 국내에 관련 책이 너무 부족하다는 것을 알게 되었고

어느정도 지식이 모여서 전자책으로 엮어보았습니다.

본 전자책은 레드시프트 구축을 위해 사전 poc부터 구축 안정화까지의 전략을 담고 있으며

아울러 레드시프트 기술과 glue, spectrum까지 다채로운 지식과 노하우를

예제를 통해 제공하고 있습니다.

이제 AWS Redshift를 도입하려는 회사 임직원이나 개인

혹은 DW의 클라우드 전환을 고려하시는 회사 임직원

혹은 빅데이터 플랫폼이 필요한데 기술력이 없는 중소기업 임직원

혹은 레드시프트와 주변 관련기술에 대해서 조금 더 알고 싶은 빅데이터 엔지니어에게 도움이 될것입니다.