arayabrain / barebone-studio Goto Github PK
View Code? Open in Web Editor NEWThis project forked from oist/optinist
pipeline tool
License: GNU General Public License v3.0
This project forked from oist/optinist
pipeline tool
License: GNU General Public License v3.0
for-serverなどのオンライン利用前提のサービスで、デプロイ検証などのために検証環境を設ける
最新の履歴データ(experiment.yml)の格納情報の追加表示
処理開始時刻/終了時刻/経過時間 (現在は処理開始時刻のみ表示されている)
エラー内容の詳細表示
document
Copy button is convenient for users
UI connecting lines can connect to any colour. However, only matching colours work when your try to run.
Connecting lines between non-matching colours should produce a flag. Maybe a different colour line. Green for OK, red for not possible.
Workflow画面で表示されるノードに、割り当てられているIDを表示する
WorkflowのReproduce機能について、いくつかのUI改善を適用する。
There is currently a pop-up which appears when hovering over the colour blocks of each module. However, it does not give any new information. It would be good if this gives a longer module description.
As there are pop-ups for the input and output, it could suggest which other the modules it can connect too
Currently, the dialog design is not unified. Unify dialog design with following rules.
This changes should be applied to multiuser mode (like user management page).
barebone-studio/studio/app/common/core/rules/file_writer.py
Lines 51 to 57 in ee76e4a
Create an api to access sample data from gui
Add a button to the main GUI to activate the api
Update the tutorial to reflect this new approach
RUNで要求される機能が不明確なため、明確化し、それに適合するようコードを改修する
タスク
先行タスク
OptiNiStの機能一覧、および各機能の仕様概要を作成
ユーザー向け
開発者向け
Note
先行タスク
開発者ツールで、mapされているコンポーネントなどにkeyが振られていないなどの理由でError, warningsが出ている件の解消
手動での動作確認パターンを整理する
目的
タスク
未認証状態で認証必要画面(Dashboard以降)ブラウザでリロードした際、Login画面へリダイレクトされない模様。
※FEのリロード時に、tokenの検証リクエストが発行されていないことが想定される
課題
snakemake.exceptions.CreateRuleException: The name all is already used by another rule
This function provides access to the whole snakemake functionality. It is not thread-safe.
対策
参考情報
関連issue
FrontEndの開発時(Node経由時)に、開発時用の各種情報を画面へ掲載する
Note
document
関連
課題
対策
以下の事象について、調査および改善を実施する。
Workflowを同時実行すると、原因不明だが、複数のWorkflowがエラーで中断されるケースが確認されている。
テストパターン
結果
ケース1) すべてのタブ(1~5)のWorkflowでエラー発生
[Wed Aug 30 17:27:25 2023]
Error in rule 2:
jobid: 1
input: /Volumes/workspace/optinist-sv-storedir/output/5/e23f5698/caiman_mc_qfusonsrx3/caiman_mc.pkl
output: /Volumes/workspace/optinist-sv-storedir/output/5/e23f5698/caiman_cnmf_fux2p3gk0h/caiman_cnmf.pkl
conda-env: /Volumes/workspace/optinist-for-server/.snakemake/conda/f286fa37fa6660cd11b27453490b9fad_
[Wed Aug 30 17:27:25 2023]
Error in rule 2:
jobid: 1
input: /Volumes/workspace/optinist-sv-storedir/output/3/96c67ad9/caiman_mc_oyjgd3wwys/caiman_mc.pkl
output: /Volumes/workspace/optinist-sv-storedir/output/3/96c67ad9/caiman_cnmf_pri9m2zneq/caiman_cnmf.pkl
conda-env: /Volumes/workspace/optinist-for-server/.snakemake/conda/f286fa37fa6660cd11b27453490b9fad_
ケース2) タブ1,2 でエラーが発生。
line 937, in update\n
raise AmbiguousRuleException(file, producer, ambiguities[0])\n
snakemake.exceptions.AmbiguousRuleException: Rules 6 and 5 are ambiguous for the file
/Volumes/workspace/optinist-sv-storedir/output/2/0fa2aee5/input_0/mouse2p_2_donotouse.pkl.\n
Consider starting rule output with a unique prefix, constrain your wildcards, or use the ruleorder directive.\n
Wildcards:\n \t6: \n \t5: \n
Expected input files:\n \t6:
/Volumes/workspace/optinist-sv-storedir/input/2/mouse2p_2_donotouse.tiff\n \t5:
/Volumes/workspace/optinist-sv-storedir/input/2/mouse2p_2_donotouse.tiff\n
Expected output files:\n \t6:
/Volumes/workspace/optinist-sv-storedir/output/2/0fa2aee5/input_0/mouse2p_2_donotouse.pkl\n \t5:
/Volumes/workspace/optinist-sv-storedir/output/2/0fa2aee5/input_0/mouse2p_2_donotouse.pkl\n
テストケースの問題
snakemakeの仕様 または 適切ではないマルチプロセス実行形式での利用
手動での動作確認パターンを整理する
目的
タスク
現在optinistをベースとして、
などのforkプロジェクトが存在するが、これらのリポジトリ間で
などを明確にする
開発時の設計ルールなどを策定および明文化する
環境情報関連は、github公開情報内に記載あり(最新化必要))
■仕様言語・フレームワーク 開発規約 参考情報
FrontEndの静的コンテンツ(HTMLページ)の生成の自動化
対応内容
備考
Workflow Reproduce時にVisualizeデータも復元する様、仕様アップデートする
pip install -e '.[dev]'
を使用しているpoetry install --no-root
のオプションでビルドが発生しないため/WorkflowのRUN機能(変更点のみの差分実行機能)について、仕様整理と、必要な改修を実施する。
タスク
事前調査資料
自動テスト項目の対象テストコードの実装
複数同名の関数を実行した際にどの関数IDがどの関数ブロックに割り当てられているかわからない
・Workflow画面
・Visualize画面
Snakemakeの構成ファイル"config.yaml"をrenameする
名称のスコープが広く、misleadingなため
snakemake.yamlなど
test
backendで導入したflake8, blackのように、frontendにもlinter, formatterおよびpre-commit, GitHub Actionsでのチェックを導入する。
developmentモードでの起動の際に、各種動作環境情報について、GUI上判断できるようにする
MutiUser modeでの動作時、Workflow画面で、現在のWorkspace情報を表示するようにする
現在、GitHubActionsでの自動テストトリガーがmainへのPRのみのため、develop-mainへのPRでも発火させる
デバイス間でノード構成のみ共有する
ノード構成自体はフロントエンド依存なので、フロントエンドで完結させる
読み込んだ構成は揮発性(RUN_ALLで実行されるまでは特に保存されない)
dependabotからのソフトウェアバージョンアップPRへの対応ルールを策定
以下対応の取り込み
A declarative, efficient, and flexible JavaScript library for building user interfaces.
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
An Open Source Machine Learning Framework for Everyone
The Web framework for perfectionists with deadlines.
A PHP framework for web artisans
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
Some thing interesting about web. New door for the world.
A server is a program made to process requests and deliver data to clients.
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
Some thing interesting about visualization, use data art
Some thing interesting about game, make everyone happy.
We are working to build community through open source technology. NB: members must have two-factor auth.
Open source projects and samples from Microsoft.
Google ❤️ Open Source for everyone.
Alibaba Open Source for everyone
Data-Driven Documents codes.
China tencent open source team.