本リポジトリは、MLOps のサンプルコードを素早く利用できることを目的に作成されました。Azure Machine Learning と GitHub Actions を利用する想定です。

• Azure Machine Learning と GitHub の環境を準備します。
• クライアント環境として下記のいずれかにアクセスします。
  • Azure Machine Learning のコンピューティングインスタンス
  • DevContainer 環境
    • Conda でのパッケージインストールの際にメモリを消費するため、ある程度大きいスペックが必要になります。Codespaces の場合、4-core / 8GB RAM / 32GB storage 以上の Machine Type を選択してください。
• .env ファイルに環境変数の設定をします。
• ./scripts フォルダの各シェルスクリプトを実行します。
• GitHub の Secrets を作成し、GitHub Actions を有効化し実行します。

👉 クライアント環境として Azure Machine Learning のコンピューティングインスタンス (Compute Instance) を利用した場合のコードや CI/CD の実行方法は クイックスタート のドキュメントに記載してあります。

• GitHub
  • ソースコード管理、CI/CD パイプライン
• Data
  • NYC タクシー & リムジン協会 - グリーンタクシー運行記録
• Azure Machine Learning
  • チーム・組織で共有の機械学習プラットフォーム
  • Compute Instance : CPU タイプ、クライアント端末
    • もしくは Dev Container に対応した GitHub Codespace など
  • Compute Cluster : 共有のクラスター環境
  • API : Azure Machine Learning CLI (v2)
• IDE/Editor
  • Visual Studio Code

CLI v2 + YAML

Notebook

CLI v2 + YAML

CI/CD Pipeline

シナリオ	YAML ファイル	Status	詳細
Smoke Test	.github/workflows/smoke-testing.yml		Smoke Test パイプライン

CLI v2 + YAML

TODO

• クイックスタート
• Coding Guideline

.
├── .devcontainer   # Configuration files for DevContainer
├── .github
│   └── workflows   # YAML files for GitHub Actions
├── .vscode
├── cli             # YAML files for Azure ML CLI v2
│   ├── assets
│   ├── endpoints
│   └── jobs
├── data            # Sample data
│   ├── raw
│   └── samples
├── docs            # Documenting quickstart, coding style guide etc
├── environments    # Python libraries
├── notebooks       # Jupyter Notebook
├── pipelines       # Azure ML Pipeline CLI v2
│   ├── eval
│   ├── prep
│   ├── score
│   └── train
├── scripts
│   ├── assets      # Shell scripts for creating assets like data, compute, environment
│   ├── endpoints   # Shell scripts for scoring model
│   ├── jobs        # Shell scripts for model training
│   └── prototyping # Shell scripts for experimental
├── src
│   ├── data        # Code for data preparation
│   ├── deploy      # Code for scoring model
│   ├── features    # Code for feature engineering
│   ├── model       # Code for model training
│   ├── monitor     # Code for monitoing data and model
│   └── rai         # Code for responsible ai
├── tests
│   ├── data_validation # Code for validating data
│   └── unit            # Code for unit testing
└── utils           # Code for utilities

• https://github.com/dslp/dslp-repo-template

当社は、外部のリンク先ウェブサイトの内容に関していかなる責任も負うものではありません。お客様は、自らの責任においてこれらのリンクをご利用ください。なお、お客様によるリンクご利用の結果、ないしはリンクご利用に関連して、お客様が被るいかなる損害または損失について当社は、責任を負うものではありません。

We are welcome your contribution from customers and internal microsoft employees. Please see CONTRIBUTING. We appreciate all contributors from Microsoft employees and community to make this repo thrive.

This project may contain trademarks or logos for projects, products, or services. Authorized use of Microsoft trademarks or logos is subject to and must follow Microsoft's Trademark & Brand Guidelines. Use of Microsoft trademarks or logos in modified versions of this project must not cause confusion or imply Microsoft sponsorship. Any use of third-party trademarks or logos are subject to those third-party's policies.