DE06_Team8_Airflow_Project

프로그래머스 데이터 엔지니어링 6기 3차 프로젝트 8팀

✍🏻 프로젝트 개요

• 기상청 API 허브에서 제공해주는 데이터 API를 주기적으로 수집하여 대시보드로 시각화
• Airflow 기반 데이터 파이프라인 구축을 통한 자동화
• S3와 Snowflake를 활용한 데이터 저장 및 관리
• Superset(Preset)으로 시각화하여 인사이트 도출
• Slack을 통한 분석 정보 알림 기능 구현

🚀 프로젝트 구조

⚙️ 기술 스택

분류	기술 스택
데이터 처리
데이터 적재
데이터 파이프라인
컨테이너
데이터 시각화
협업

✅ Airflow Process

ETL Process의 기본적인 구조는 S3 -> Snowflake -> Preset 입니다.

Airflow로 스케줄링 작업을 진행하고 있습니다.

1. 국내외 지진 정보 조회

• ETL
  • eq_daily_Update_to_Snowflake.py
  • eq_once_Update_to_Snowflake.py
• ELT
  • run_daily_dbt.py

2. 북서 태평양 태풍 정보 조회

• ETL
  • typhoon_daily_Update_to_Snowflake.py
• ELT
  • run_daily_dbt.py

3. 날씨 예보 조회 및 불쾌지수 알림

• ETL
  • kma_weather_dag.py

4. 휴일 날씨 만족도 분석

• ETL
  • weather_pipeline_dag.py

🔁 Data Insights

• Preset
  • 미세먼지 대시보드
  • 국내/해외 지진 발생 정보 대시보드
  • 태풍 발생 정보 대시보드
• Slack
  • 날씨 예보 및 불쾌지수 알림
  • 휴일 날씨 만족도 알림

💻 시각화 세부 결과

Preset Dashboard

Slack Alert