DBT를 이용한 ELT 파이프라인 모듈 [프로젝트 전체보기]
- DBT를 이용해 DW의 raw 데이터를 검증하고 분석에 적합한 데이터로 가공
- DBT 이미지를 생성하여 Airflow를 통해 스케줄링
- Airflow 와 코드베이스를 분리하기 위해 DBT 프로젝트를 별로도 생성
- devleop , main 브랜치에 PR 이벤트가 발생하면 dev, stage dw에 모든 모델을 생성하고 검증
- main 브랜치에 push 이벤트가 발생하면 도커이미지를 생성하고 Airflow DAG를 트리거