arayabrain / optinist-for-server Goto Github PK

対応内容

• 関数の処理仕様のヒアリング（想定IN/OUT, etc）
• 設計

成果物

• 関数仕様（関数分）

対応内容

• AllenSDKに関する調査

成果物

• 情報収集・レポート

  • AllenSDKの基本情報の収集・レポート
  • Allen Brain Atlas の基本情報の収集・レポート

• 詳細調査

  • データ仕様調査
    • ターゲットとなるデータベース（Allen Brain Atlas）のデータ仕様の把握、レポート
      • 想定は Brain Observatory の NWB データ
  • SDK調査
    • ターゲットとなるデータベース（Allen Brain Atlas）に対応するSDKモジュールの特定、レポート

• OptiNiSt NWBファイルの、Allen NWBへの互換対応

  • ※当issueでは設計まで、実装は後続で対応想定

対応内容

• 画面UI実装
• APIアクセス実装

対応内容

• マルチユーザーのセッション管理の動作の整備
• 4. Workspace画面からの画面遷移の接続
• 権限制御の適用 (#66)

総合テストについて

テスト実施条件の補足

• テストケース（総合テスト）は以下を利用

  • #121

• 総合テストでは、アプリケーションは静的ページでの動作版（localhost:8000）を利用する

エビデンスの記録

テストの実施に際して、以下の情報を、記録する。

• アクセス先のURL（ドメイン+ポート）
• 環境変数ファイルの内容
  • frontend/.env.production
  • studio/config/.env
• アプリケーションのバージョン情報
  • ※現時点（8/31）ではまだアプリケーションのバージョン情報は未指定のため、プログラムの branch 名（develop-mainを想定）を記録しておく。

対応内容

以下、データベース周りの開発環境整備を行う。

• DB(MySQL)のDockerを追加し、docker-composeで起動するようにする
  • 起動に必要なconfig, Dockerfileなどのファイルはstudio/config/dbに配置する
• MySQLはalembicでPythonによるmigrationを行う想定で構築する
• PythonでDBを扱う際には直接のSQLではなく、SQLALchemyなどのO/R mapperを使用する
  • O/R mapperのschemasはstudio/app/common/modelsにテーブルごとのファイルで定義する

まずは、backendからDBへのO/R mapperでのクエリが実行できる状態まで進めたらレビューさせてください。
（さらに細かい頻度でのレビューもOKです）
想定と合っていない場合の修正の時間を短くしたいので、レビュー時点ではusersテーブルだけで良いです。

• oist#531 の一環として以下のミドルウェアのバージョンアップを実施する
  • fastapi, uvicorn, jinja2
• 可能な限り最新版を使用する
  • 特にfastapiについては、最低でも0.93.0以上に上げたい
    • fastapi-paginationを使用したいため
    • #42 の実装で、class Paginationを作成していますが、今後paginationを使用するAPIが増えそうなので、fastapi-paginationで統一したいです
      • こちらのIssueの対応後に、fastapi-paginationを使用するパターンにFixしていただけますか
• バージョンアップに伴い、必要なコードの修正があれば実施する

対応内容

• データ（MAT形式）の格納仕様、入出力フローの設計

• ※画面やバックグラウンドの処理に関連

• 関連

  • #35

成果物

• データ仕様書
  • 格納ディレクトリ構成
  • ファイル命名仕様
  • ファイル種別、ファイルフォーマット
  • 用語
  • etc.
• データフロー設計

対応内容

• Muti User OptiNiSt 画面設計

成果物

• 画面設計書

対応内容

• 現行のファイル仕様のヒアリング・情報整理

成果物

• データ仕様書
  • 格納ディレクトリ構成
  • ファイル命名仕様
  • ファイル種別、ファイルフォーマット
  • 用語
  • etc.

対応内容

• MATLABファイルの読み込みの基本処理を組み込んだWorkflow関数ノードを実装
• ※事前に、#3 を実施しておく

成果物

• 実装ソースコード

対応内容

• 先行タスク ( #29 )で実装したAPIのI/Fへ、DBアクセス処理を実装する。
• ※先行して、以下のタスクを対応する。
  • #40

対応内容

• 関数仕様を組み込んだ関数ノードの実装

成果物

• 実装ソースコード

関連

• #4
• #5
• #23
• #35

対応内容

• アプリケーション稼働環境インフラ設計

• ※基本的にはハードウェア寄りのインフラ設計は他社対応想定だが、アプリケーション寄りの設計の対応を想定

• 想定対応範囲

  • 仮想化ミドルウェアの要否検討、製品選定
    • Docker, VMWare, etc.
    • Note: 本来は、この概要設計を実施の上でのハードウェア選定となると想定されるが、2023/5時点すでにハードウェア選定が完了しているらしい点は、経緯・選定要件の確認を行っておいた方がよい。
  • ミドルウェア構成（OS、etc）
  • WEBサーバー構成 … ドメイン＋SSL、負荷分散
  • バックアップ設計（アプリケーション層）

• 想定外対応範囲

  • ハードウェア選定
    • Note: 予備機も考慮（データ（RAID化）の他、ハードウェア本体の冗長性の考慮）
  • ネットワーク設計
  • バックアップ設計（インフラ層）

成果物

• システム構成図
• サーバー構成情報
  • ソフトウェア情報、環境情報、バックアップ設計、etc

対応内容

• Muti User OptiNiSt BE API設計

成果物

• API設計書

• 関連
  • #32
  • #38

対応内容

• 画面UI実装
• APIアクセス実装

対応内容

• データベース設計
• データベース製品選定（RDB、他）

成果物

• データベース設計書

  • テーブル設計書
  • ER図

• データベース製品 選定結果

対応内容

• Workflowアルゴリズム実行処理（Snakemake）の性能試験

成果物

• テストケース
  • 同時実行ユーザー: 10名（一旦）
• テスト結果

対応内容

• 画面UI実装
• APIアクセス実装

対応内容

Database関連画面のFilter機能を実装

• 補足

  • MUI のコンポーネント（DataGrid等）の標準のフィルタ機能を利用する形でOKだが、以下の機能の実現を希望
    • 複数の条件の指定（AND条件）が可能
    • 条件項目のリスト選択（またはサジェスチョン）の対応

• 関連画面

  • #16
  • #17
  • #18
  • #19

対応内容

• 画面UI実装
• APIアクセス実装

対応内容

データ管理・解析処理の実装

• 関連
  • #32

対応内容

• Matlabファイル処理対応のテスト

• 想定テストケース

  • 幾つかのデータをピックアップし、新旧（新:Python版、旧:MATLAB版）のプログラムによる、データ解析処理結果を実施する。
  • 比較方法配下
    • statsファイルの内容比較（簡易な比較プログラムを用意してもよい）
    • plot画像の比較（目視確認）

成果物

• テスト設計
• テスト実施結果

• 関連
  • #35

Output

• TC, TSファイルのロード → 統計データの生成
• 統計データから解析処理
• 解析結果からplotの生成

対応内容

• 画面UI実装
• APIアクセス実装

対応内容

• 画面UI実装
• APIアクセス実装

対応内容

• API実装
  • GET /workspace/export/{id}
  • POST /workspace/import

備考

• 以下の関連issueを先行し対応する
  • arayabrain#38
  • arayabrain#39

対応内容

• APIのI/Fを実装する。
• ※DBへのアクセスは、後続タスク( #41 )で対応する。

対応内容

• 以下画面へのAPIアクセス組み込み

  • 10-1. Public Experiments
  • 10-2. Public Cells

• その他の類似画面へのAPI組み込みは、後続issueで対応

  • #57

対応内容

• ベースシステム（BareBone）からの仕様変更点の洗い出し、
  • 例）
    • 画面仕様
    • アクセス先データソース（API）
    • アカウント仕様（ID/PWフォーマット、権限、etc）、etc

成果物

• 仕様変更点一覧
• 画面設計書への情報反映

対応内容

• 以下issueと同対応内容

  • oist#511

• 対応内容

  • BE
    • Workflow RUN Cancel API の作成
    • Workflow RUN Cancel 処理の実装（Snakemake）
  • FE
    • Workflow画面のCANCELボタンから、RUN Cancel API の呼び出し
      • 処理の成否はsnackbarでメッセージ表示する

• 補足

  • まずは実現方法を調査・検討、その後 実装へ移る
  • 対応は optinist (barebone-studio) へ適用し、その後 optinist-for-server へ適用（pull request）する
    • （追記）barebone-studio と他リポジトリのマージ運用の整理が必要であるため、運用整理までは 当件は optinist-for-server へ直接適用とする

• 関連

  • #99

対応内容

• 権限に関する設計

成果物

• 権限仕様資料

  • 権限マトリクス
    • 権限種別と許可の対象（操作、リソース、etc）の仕様整理
  • アクセス権限の許可仕様
    • ロールベース
    • 組織ベース（※組織の場合、階層構造の考慮有無なども検討）
    • 個人ベース

• 承認業務フロー

  • 業務フロー図

対応内容

• 画面UI実装
• APIアクセス実装

対応内容

• マルチユーザーのセッション管理の動作の整備
• 4. Workspace画面からの画面遷移の接続
• 権限制御の適用
  • #107

設計書を随時アップデート

• 関連
  • #8
  • #9
  • #10
  • #12