ETL 프로세스를 통해 데이터웨어하우스에 데이터를 적재하고 대시보드 구성해 보는 프로젝트

화훼 데이터를 활용하여 일자별 화훼 가격 대시보드 를 생성하는 것을 목표로 합니다.
데이터 수집, 전처리, GCS에 저장 및 Bigquery 적재를 자동화 하는 End-to-end 파이프라인을 경험 하고,
데이터웨어하우스에 적재된 데이터를 이용하여 대시보드를 생성 합니다.

Python, SQL 언어로 데이터를 전처리할 수 있습니다.
GCP(GCS, Bigquery, VM)와 Airflow를 이용하여 데이터 파이프라인을 설계하고 구현할 수 있습니다.
클라우드 서버를 이용하여 Docker 컨테이너로 Airflow를 관리할 수 있습니다.
Airflow dag를 깃허브를 이용해 관리할 수 있습니다.
데이터 웨어하우스(Bigquery)를 활용하여 대용량 파일을 처리할 수 있습니다.
데이터를 분석하고 이를 시각적으로 표현하는 데이터 대시보드(Superset)를 만들 수 있습니다.

• 일자별 화훼 경매 정보
  
• 기상청 데이터
  
• 학사일정
  
  

1. API 호출을 통한 데이터 수집 및 데이터 전처리
2. 클라우드 스토리지에 데이터 저장 (Google Cloud Storage)
3. Google cloud storage에 저장된 파일을 데이터 웨어하우스에 적재 (Bigquery)
4. 데이터 웨어하우스(Bigquery) 대시보드(Superset)에 연결
5. 대시보드 생성 및 데이터 분석
   
   

• Python, SQL

• Google Storage
  

• Big Query
  

• Airflow
  

• Superset(preset.io)
  

• GitHub
• Slack
  
  

• 김바롬 : GCP(GCS, Bigquery) 구축
• 임동빈 : Preset 구축
• 최은서 : GCP(VM)를 사용하여 Airflow서버 구축

• 김바롬 : 기본 코드 제공
• 임동빈 : 기상청 데이터 - Airflow dag로 GCS 저장 자동화, Airflow GCSToBigQueryOperator로 GCS -> BigQuery 적재 자동화
• 최윤주 : 학교별 일정 데이터 - Airflow dag로 GCS 저장 자동화, Airflow dag로 GCS->Bigquery 적재 자동화
• 최은서 : 화훼 데이터 - Airflow dag로 GCS 저장 자동화, [Bigquery-Data_Transfer로 GCS->Bigquery 적재 자동화]

• 임동빈
• 최봉승
• 최윤주