arayabrain / barebone-studio Goto Github PK

以下optinistリポジトリでの対応の取り込み

• oist#404
• oist#507

その他タスク

• github actionsのテスト設定のメンテナンス
  • すべてのtestを実行すると処理負荷が高いため、testのレベルを分け、github上では比較的軽量なテストを実施する構成とする
  • 以下に関連
    • oist#525

developmentモードでの起動の際に、各種動作環境情報について、GUI上判断できるようにする

• document
  • https://docs.google.com/presentation/d/1TG4OUrjIWjJCZSxMsoEjrhNb4fyQW8iI/
    • → # 90

backendで導入したflake8, blackのように、frontendにもlinter, formatterおよびpre-commit, GitHub Actionsでのチェックを導入する。

• linter: ESLint
• formatter: Prettier
  • できればimport order用のpluginも追加する(prettier-plugin-organize-importsなど)
• others
  • .vscode/settings.json
  • pre-commit
  • .github/workflows/linters.yml

FrontEndの静的コンテンツ（HTMLページ）の生成の自動化

• 対応内容

  • github actionでの実現 など

• 備考

  • 基本的にはFrontEndの静的コンテンツは、開発時には使用されてい。（一般ユーザーより利用される）

for-serverなどのオンライン利用前提のサービスで、デプロイ検証などのために検証環境を設ける

開発時の設計ルールなどを策定および明文化する

• 明文化先は https://optinist.readthedocs.io/en/latest/utils/contributing.html など？

環境情報

環境情報関連は、github公開情報内に記載あり（最新化必要））

• 動作対象環境
• ミドルウェア

コーディングルール

• 参照するスタンダードなコーディングスタイル
  • ※なるべくlintツールで自動検出できるルールを考慮
• 当プロジェクト内でのルールのカスタム内容

実装方針

• ディレクトリ・ファイル構成に関する規定
• UI・デザイン ルール（表示、フォーム）
• ロギング・例外処理
• 非機能（セキュリティ、パフォーマンス）

その他

• テスト（方式やカバレッジ）
• 運用（バージョン管理、デプロイ、等）

■仕様言語・フレームワーク 開発規約 参考情報

• python (pep8)
  • https://pep8-ja.readthedocs.io/ja/latest/
• javascript/typescript
  • https://maku.blog/p/avssq37/
• react
  • https://github.com/airbnb/javascript/tree/master/react
  • https://zenn.dev/meijin/articles/bulletproof-react-is-best-architecture

Create an api to access sample data from gui
Add a button to the main GUI to activate the api
Update the tutorial to reflect this new approach

Snakemakeの構成ファイル"config.yaml"をrenameする

名称のスコープが広く、misleadingなため

snakemake.yamlなど

自動テスト対象とするテスト項目をリストアップする

• #80 で整理されたテスト項目から抽出する

• Currently, the dialog design is not unified. Unify dialog design with following rules.

  • Use MUI's Dialog, DialogTitle, DialogContent, DialogActions components.
  • On DialogActions,
    • For negative action (like cancel), use outlined button component
    • For positive action(like ok), use contained button component
  • Dialog can be closed with outbound click
  • Dialog can be closed with Esc key down.

• This changes should be applied to multiuser mode (like user management page).

WorkflowのReproduce機能について、いくつかのUI改善を適用する。

• Reproduce実行前に、確認ダイアログを表示する
• Reproduce後、Workflow画面へ自動遷移する

OptiNiStの機能一覧、および各機能の仕様概要を作成

作成対象の例

• ユーザー向け

  • ドキュメントにない・説明が不十分な機能の説明

• 開発者向け

  • 共通
    • frontendのコンポーネントとAPIとの関係
    • frontendのstateとコンポーネントの関係
  • Workflow画面詳細仕様
  • Visualize画面詳細仕様

• Note

  • 可能であれば、なるべくソースコード上のコメントから、システム仕様を自動ドキュメント化できるとよい。（APIとコンポーネントの構成、etc）

• 先行タスク

  • #80

• fetch機能が追加されたことにより、新規ワークフローの構築の際に既存のノード削除が必要な手間が増えた
• CLEARボタンでノード配置を初期状態に戻せるようにする

対応内容

• 課題

  • 現在(v1.0.0)のoptinistで、multiuser modeで複数ユーザーからWorkflowを同時実行した場合、以下のような実行エラーが発生するケースがある。

    snakemake.exceptions.CreateRuleException: The name all is already used by another rule

  • 詳細な要因は確認中だが、そもそもSnakemakeのWorkflow処理が thread-safe ではないことが要因と想定される。
    • https://snakemake.readthedocs.io/en/v7.0.0/api_reference/snakemake.html

      This function provides access to the whole snakemake functionality. It is not thread-safe.

• 対策

  • 暫定対策
    • 最上位ルール「rule: all」のキーワードが重複しているようなため、この部分をWorkflow実行プロセスごとに一意とすることで、擬似的に thread-safeとする （※要検証）

• 参考情報

  • https://snakemake.readthedocs.io/en/v7.0.0/api_reference/snakemake.html

• 関連issue

  • #104
  • #105

test

RUNで要求される機能が不明確なため、明確化し、それに適合するようコードを改修する

• タスク

  • 仕様整理
    • 以下のような仕様も適切かどうか確認する
      • NWB params、Snakemake paramsへの変更がRUNの際には反映されない
  • 改修実装

• 先行タスク

  • #80

• #91 で策定した開発規約に反するコードのリファクタリングを行う

Copy button is convenient for users

対応内容

• 以下の対応内容の反映
  • oist#530

複数同名の関数を実行した際にどの関数IDがどの関数ブロックに割り当てられているかわからない
・Workflow画面
・Visualize画面

開発者ツールで、mapされているコンポーネントなどにkeyが振られていないなどの理由でError, warningsが出ている件の解消

• フィールド名をテキストボックススタイルからTypographyに
  • テキストボックスだと編集可能であるように見えてミスリーディングなため
• 各種データ型への適応
  • リスト型のパラメータなどが正常にリストとして処理されていない可能性が高い（stringになっている）ため、挙動の確認・修正
  • oist#537 による仕様変更に依存する可能性がある

• IscellDataのような1次元のデータをHDF5ノードで選択し、入力として使用するとエラーになる。
  

  barebone-studio/studio/app/common/core/rules/file_writer.py

  Lines 51 to 57 in ee76e4a

  	if data.ndim == 3:
  	info = {rule_config.return_arg: ImageData(data, "")}
  	nwbfile["image_series"]["external_file"] = info[rule_config.return_arg]
  	info["nwbfile"] = {}
  	info["nwbfile"][FILETYPE.IMAGE] = nwbfile
  	elif data.ndim == 2:
  	info = {rule_config.return_arg: TimeSeriesData(data, "")}

  • ndim == 1の時の処理が定義されていないのが原因のため、分岐を追加
  • ndimが2, 3の時はnwbfileのdictに割り当てる処理があるため、どのセクションに割り当てるかの確認が必要

解決したい課題

• pip installで時間がかかる
  • 現在開発者向けのpython module installではpip install -e '.[dev]'を使用している
  • この手法では都度optinistのビルドが発生し時間がかかる

対策

• poetryを標準で採用する
  • poetry install --no-rootのオプションでビルドが発生しないため
  • poetryを使用しないでも、同等の解決策があればそちらでも良い
    • ただし、pyproject.tomlとrequirements.txtの二重管理にはならないようにする(pyproject.tomlで完結できるのがbest)

その他

• poetryは仮想環境を標準で生成してしまうため、createしたconda環境に直接インストールするように設定する
• dockerでの環境構築処理も合わせて対応する
• ドキュメンテーションも修正する
  • docs/installation内の各種ドキュメント

以下対応の取り込み

• oist#511

以下の事象について、調査および改善を実施する。

事象

• Workflowを同時実行すると、原因不明だが、複数のWorkflowがエラーで中断されるケースが確認されている。

• テストパターン

  • 5つのWorkspace（1～5）別にブラウザのタブを作成し、タブごとに ほぼ同タイミングで Workflowを実行（RUN ALL）。
  • 実行環境は Mac(macOS 13)

• 結果

  • 不定期に、一部 or すべてのタブのWorkflowが、エラーで中断されるケースが確認されている。

エラーケース詳細

• ケース1) すべてのタブ（1～5）のWorkflowでエラー発生

  • 対象Workflowは「caiman_mc → caiman_cnmf」
  • すべてのタブ（1～5）のcaiman_cnmfで、エラーが発生。
  • エラーログ
    • 以下の .snakemake/log には以下の記録あり。（タブ3,5 でのみエラー？）
    • その他のログは、このケースではその後WorkflowのRUNが行われたため、ログが上書きされ残されていない。

      [Wed Aug 30 17:27:25 2023]
      Error in rule 2:
          jobid: 1
          input: /Volumes/workspace/optinist-sv-storedir/output/5/e23f5698/caiman_mc_qfusonsrx3/caiman_mc.pkl
          output: /Volumes/workspace/optinist-sv-storedir/output/5/e23f5698/caiman_cnmf_fux2p3gk0h/caiman_cnmf.pkl
          conda-env: /Volumes/workspace/optinist-for-server/.snakemake/conda/f286fa37fa6660cd11b27453490b9fad_
      
      [Wed Aug 30 17:27:25 2023]
      Error in rule 2:
          jobid: 1
          input: /Volumes/workspace/optinist-sv-storedir/output/3/96c67ad9/caiman_mc_oyjgd3wwys/caiman_mc.pkl
          output: /Volumes/workspace/optinist-sv-storedir/output/3/96c67ad9/caiman_cnmf_pri9m2zneq/caiman_cnmf.pkl
          conda-env: /Volumes/workspace/optinist-for-server/.snakemake/conda/f286fa37fa6660cd11b27453490b9fad_
      

• ケース2) タブ1,2 でエラーが発生。

  • エラー内容は以下
    • タブ1 … なぜかタブ1のプロセスで、タブ2のプロセスのoutput_fileのパスを参照しているログが記録されている。
    • タブ2 … タブ1のエラーログと同様。以下の内容
      • error.log

        line 937, in update\n
        raise AmbiguousRuleException(file, producer, ambiguities[0])\n
        snakemake.exceptions.AmbiguousRuleException: Rules 6 and 5 are ambiguous for the file
        /Volumes/workspace/optinist-sv-storedir/output/2/0fa2aee5/input_0/mouse2p_2_donotouse.pkl.\n
        Consider starting rule output with a unique prefix, constrain your wildcards, or use the ruleorder directive.\n
        Wildcards:\n \t6: \n \t5: \n
        Expected input files:\n \t6:
        /Volumes/workspace/optinist-sv-storedir/input/2/mouse2p_2_donotouse.tiff\n \t5:
        /Volumes/workspace/optinist-sv-storedir/input/2/mouse2p_2_donotouse.tiff\n
        Expected output files:\n \t6:
        /Volumes/workspace/optinist-sv-storedir/output/2/0fa2aee5/input_0/mouse2p_2_donotouse.pkl\n \t5:
        /Volumes/workspace/optinist-sv-storedir/output/2/0fa2aee5/input_0/mouse2p_2_donotouse.pkl\n
        

検証

• 以下の動作パターンを検証したが、正常動作を確認。
  • パターン … 5つのWorkflowのうち、暫定的に 1つWorkflowを強制的に終了（raise Error）するコードを追加し、動作確認
  • 結果 … エラーが派生したWorkflow以外は、すべて処理に成功。 （期待する動作）

想定される要因

• テストケースの問題

  • 同一ブラウザでタブを分けてWorkflowを実行する方式に、問題がある？ （Front(React)の状態管理異常など？）

• snakemakeの仕様 または 適切ではないマルチプロセス実行形式での利用

  • 以下のissueで行われた対応内容のように、logger等、マルチプロセスに適合できていない構成が存在するなど？
    • arayabrain#46
  • または、conda activate のタイミングなどに何らか落とし穴があるなど？
  • 関連がありそうなsnakemake document
    • https://snakemake.readthedocs.io/en/stable/snakefiles/rules.html#group-local-jobs
    • https://snakemake.readthedocs.io/en/stable/snakefiles/rules.html#group-local-service-jobs

その他

• 関連issue
  • #117

FrontEndの開発時（Node経由時）に、開発時用の各種情報を画面へ掲載する

• Note

  • 2段階に分けて実施予定
    1. FEの情報のみを表示
    2. BEの情報も表示（API追加必要）

• document

  • https://docs.google.com/presentation/d/1TG4OUrjIWjJCZSxMsoEjrhNb4fyQW8iI/
    • → # 71

• 関連

  • #70

現在、GitHubActionsでの自動テストトリガーがmainへのPRのみのため、develop-mainへのPRでも発火させる

未認証状態で認証必要画面（Dashboard以降）ブラウザでリロードした際、Login画面へリダイレクトされない模様。
※FEのリロード時に、tokenの検証リクエストが発行されていないことが想定される

関数種別ごとにwhole~.nwbが生成されているがwhole~.nwbをマージする処理がない

概要

デバイス間でノード構成のみ共有する

• records画面でのexport対象として、構成ファイルを追加
• workflow画面にimportボタンを追加

仕様

構成ファイル

• workflow.yaml
  exportする構成ファイルには、inputファイルのパスや、outputのパスなどは含めず、あくまでノード構成とパラメータの再現のみ
  • edgeDict
  • nodeDict
• experiment.yaml
  • unique_id
  • workspace_id
  • name
  • started_at
  • finished_at
  • success
  • hasNWB
  • function
    • nodeId: #ノードごとに
      • success
      • message
      • hasNWB
      • started_at
      • finished_at
      • outputPaths

Frontend

ノード構成自体はフロントエンド依存なので、フロントエンドで完結させる
読み込んだ構成は揮発性（RUN_ALLで実行されるまでは特に保存されない）

利用フロー

• workflow画面右上のボタン群に"import"を追加
• "import"をクリックするとOSのファイル選択が表示される
  • yaml形式のファイルが選択可能
• 選択したファイルはtemporaryなフォルダにアップロードされる
• フロントで対象のファイルをロードし、js-yamlなどのライブラリでparseする
• 構成の内容がノードに反映される
• inputファイルノードはパスが空になっているので、自身の環境のファイルをアップロード/select
• RUN_ALLで実行

Workflow画面で表示されるノードに、割り当てられているIDを表示する

• document
  • https://docs.google.com/presentation/d/1TG4OUrjIWjJCZSxMsoEjrhNb4fyQW8iI/
    • → # 96

以下対応の取り込み

• oist#530
• #68

• リリースフローの整備

  • レビュー体制
  • レビュー内容（テスト項目）
  • ブランチ管理

• 自動化可能な内容の適用

  • mainブランチへのマージをトリガーにGitHubActionsなどで自動化
    • pypiへのpush
    • dockerhubへのpush
    • readthedocsへの反映

• リリース用のmakeコマンドのメンテナンス

• リリース手順書の作成

  • #92 で作成したリポジトリで記載

• 関連

  • #91
  • #92
  • #95

Workflow Reproduce時にVisualizeデータも復元する様、仕様アップデートする

• 補足
  • MultiUser版optinistでは、Workflowのfetch（最終実行WFの復元）時に、Visualizeデータも復元されている。
  • #38 でWorkflow設定のexport/import機能が追加されているが、この機能との調整も必要（import直後はVisualizeデータは存在しないことを考慮）

UI connecting lines can connect to any colour. However, only matching colours work when your try to run.
Connecting lines between non-matching colours should produce a flag. Maybe a different colour line. Green for OK, red for not possible.

/WorkflowのRUN機能（変更点のみの差分実行機能）について、仕様整理と、必要な改修を実施する。

• タスク

  • RUN仕様調査、不具合洗い出し
    • 以下のような仕様も適切かどうか確認する
      • NWB params、Snakemake paramsへの変更がRUNの際には反映されない
    • RUN実行の仕様の他、RUN結果の保持仕様も整理
  • 上記調査結果に対する、改修の適用

• 事前調査資料

  • https://docs.google.com/spreadsheets/d/1CzgAPyy2AqsDKQ5Ob1kQuVJshY2FV89SPH_tevN67U4/edit#gid=786990601

• https://aka.ms/AAlgvkb
• python.linting.xxx系の設定が廃止されるため、.vscode/settings.jsonの記述を修正する
• 基本的にはextensionsを利用する運用になる
  • .vscode/extensions.jsonに推奨拡張機能は記載済

• 課題

  • optinist の動作モードは現在2つあるが（standalone, multiuser）、FEとBEで動作モードの設定が連動していない。（別々に設定必要）
  • 上記のため、設定が不一致する可能性があるが、現状では設定不一致となった場合、要因が判別しづらくなっている。（ログの不足等）

• 対策

  • FEとBEの動作モードの設定個所を一元化する
    • ※具体的な方式は、検証から
  • 動作モードの不一致があった場合のエラー処理を明確にする（API error応答, ログ出力）

最新の履歴データ（experiment.yml）の格納情報の追加表示

• 処理開始時刻/終了時刻/経過時間 （現在は処理開始時刻のみ表示されている）

• エラー内容の詳細表示

• document

  • https://docs.google.com/presentation/d/1TG4OUrjIWjJCZSxMsoEjrhNb4fyQW8iI/
    • → # 99

There is currently a pop-up which appears when hovering over the colour blocks of each module. However, it does not give any new information. It would be good if this gives a longer module description.
As there are pop-ups for the input and output, it could suggest which other the modules it can connect too

手動での動作確認パターンを整理する

• 目的

  • テスト仕様の最新化
  • 設計ドキュメントメンテナンスのための情報整理

• タスク

  • テスト項目リスト作成
  • テスト用データの整備
  • テスト用ワークフローの整備

optinistのソフトウェア・ミドルウェアのバージョンアップの実施、および実施ルールの策定
※FE、BEの両方を対象（※適宜issueを分割）

• バージョンアップ実施作業

  • FE
    • oist#530
  • BE
    • oist#531

• バージョンアップ実施ルールの策定

  • バージョンアップの内容（機能強化、セキュリティ情報、etc）
  • バージョンアップの頻度（年4回、etc）

dependabotからのソフトウェアバージョンアップPRへの対応ルールを策定

• 対応スパン
• 検証内容
• レビュー体制

privateリポジトリを専用で作成する

• #94 リリース手順
• #91 で作成予定の開発規約など（将来的にはreadthedocsかもしれないが、当面はこちらで）

現在optinistをベースとして、

• barebone
  • for-server
  • MRI analysis studio

などのforkプロジェクトが存在するが、これらのリポジトリ間で

• 共通の開発内容のmergeを容易にする運用
• 差分の開発内容の切り捨て方

などを明確にする

• 関連
  • #91

MutiUser modeでの動作時、Workflow画面で、現在のWorkspace情報を表示するようにする

• 現在 左サイドメニューにWorkflow情報（ID, name）が表示されているが、この付近に Workspace Name を表示させる。
• また必須ではないが、Workspace ID（内部ID）も掲載しておくと、多少 開発者向けに利便性がある。

自動テスト項目の対象テストコードの実装

• #83 でのテスト項目決定に依存する

手動での動作確認パターンを整理する

• 目的

  • テスト仕様の最新化
  • 設計ドキュメントメンテナンスのための情報整理

• タスク

  • テスト項目リスト作成
  • テスト用データの整備
  • テスト用ワークフローの整備