概要

• GCPのアカウントを作成する
• 予算アラートの設定を行う
• APIの有効化を行う
• サービスアカウントの作成

概要

• EmbulkとDigdagで構築したSpreadSheetのデータ連携をマネージドサービスでリプレイスする
• 実装は以下のどちらかで定期実行
  1. Cloud Scheduler & Cloud Pub/Sub & Cloud FunctionsでスケジュールトリガーでGCEを起動する（GCEでEmbulkを実行する）
  2. GCEのcron設定
     参考: https://gotohayato.com/content/532/

ToDo

• 将来的（次のステップ）にはTerraformで管理する
• Kubernetes上に構築する

概要

• Embulkを使ってスプレッドシートにあるデータをBigQueryのテーブルに連携する

概要

• 非同期処理の実装
• Celery - Distributed Task Queue
  • https://github.com/celery/celery
• RabbitMQ - Broker
  • https://github.com/rabbitmq/rabbitmq-tutorials/tree/master/python
• Redis - Broker & Result Backend
  • https://redis.io/

実装

• 今回はRabbitMQの理解のため，Celeryを使わずにPython libのpikaを使って実装する

概要

• MLパイプラインをマージトリガーで動かすためのCICDパイプラインの構築
• Github Actions + AWS CodePipelineで構築

概要

• 同じDockerコンテナ内でDigdagとEmbulkを内包して実行する
• Digdagでスケジュール実行できるか検証する

概要

• CMLにDVCを連携してデータとモデルを紐付けて管理する
• DVC: https://dvc.org/

概要

• READMEの作成
• #7

概要

• poetryによるパッケージ管理
• pytestによる単体テスト

関連Issue

• #7