data-engineering

• 관련 강의 학습 및 정리

• 복습 및 추가 학습내용 정리

강의명 - 클라우드를 활용한 데이터 파이프라인 구축

---

목표

• 빅데이터와 클라우드에 대한 이해부터 데이터수집, 저장, 처리, 분석, 시각화 학습

• 데이터 수집부터 시각화까지 단계별로 필요한 툴을 함께 학습해 실무활용도 성장

• 성능과 서비스 퍼포먼스는 유지하되, 비용은 절감 할 수 있는 AWS운영/비용최적화 방법 학습

• 정제되지 않은 데이터로 구성/수집부터 가공까지 경험하므로 실제 시스템 에러에도 대응 해 볼 수 있는 실슴

목차

• 1. 데이터수집 파이프라인구축

  • Chapter1.데이터파이프라인의이해

  • Chapter2.데이터파이프라인을위한AWS서비스

  • Chapter3.실습준비

  • Chapter4.KafkainstallonEC2

  • Chapter5.용어의이해

  • Chapter6.데이터파이프라인흐름의이해

  • Chapter7.Api-Gateway,KinesisStream,Firehose,S3의이해

• 2. 데이터분석 파이프라인구축

  • Chapter1. 데이터분석

  • Chapter2. EMR 구조에 대한 이해 및 실행

  • Chapter3. Zeppelin을 이용한 데이터 처리

  • Chapter4. Glue의 이해

  • Chapter5. 데이터분석 실습

  • Chapter6. Zeppelin의 Cron 기능 활용

• 3. 데이터분석및 시각화 파이프라인구축

  • Chapter1. 데이터 분석 및 시각화

  • Chapter2. Presto를 활용한 분석

  • Chapter3. Tableau 시각화방안

  • Chapter4. elasticsearch 실습

• 4. 데이터 파이프라인 Extension

  • Chapter1. 데이터 파이프라인 Extension 학습내용

  • Chapter2. MSA 수집방안

  • Chapter3. EMR Pyspark

  • Chapter4. Redshift의 구성 및 실습

• 5. 추가학습 정리

강의명 - 데이터엔지니어링 올인원패키지

---

목표

• 프로젝트를구현하면서학습하여 전반적인 데이터 엔지니어링의이해
• 빅데이터를활용한 포트폴리오준비
• 클라우드 인프라인 AWS를 다양하게 활용
• API로 매일 생성되는 데이터를 처리하는 방법에 대해서 학습
• 데이터 엔지니어링뿐만 아니라 추천시스템을기반한 챗봇 서비스를 구현

목차

• 1. 데이터 엔지니어링 개요
  • Chapter 01. 데이터 아키텍처
• 2. 데이터 엔지니어링 기초 다지기
  • Chapter 02. Unix 환경 및 커맨드
  • Chapter 03. AWS
  • Chapter 04. SQL
• 3. API는 무엇인가
  • Chapter 05. API란
  • Chapter 06. Spotify API -
• 4. 데이터의 이해와 데이터베이스
  • Chapter 07. 데이터 타입
  • Chapter 08. RDBMS
  • Chapter 09. Spotify 데이터
  • Chapter 10. Python과 MySQL
  • Chapter 11. SQL 활용
  • Chapter 12. NoSQL의 DynamoDB
• 5. 데이터 엔지니어링 구축
  • Chapter 13. 빅데이터
  • Chapter 14. 데이터 레이크 구축
  • Chapter 15. Apache Spark
  • Chapter 16. Pyspark
  • Chapter 17. S3와 Athena
• 6. 데이터 엔지니어링 자동화
  • Chapter 18. 데이터 워크플로우
  • Chapter 19. 데이터 순환 구조
  • Chapter 20. 데이터 작업 스케줄링
  • Chapter 21. Serverless
  • Chapter 22. Spotify 데이터 모델링
  • Chapter 23. Chatbot
• 7. Python Programming