Giter Club home page Giter Club logo

wandb_tutorial's Introduction

wandb使用教程

wandb是一个免费的,用于记录机器学习训练过程数据的工具。具有用户管理,团队管理,项目管理等功能。

0. 环境设置

  • Ubuntu or Red Hat
  • tmux
  • Python3
  • pip install -r requirements.txt

1. 基础使用方法

该部分的详细教程见:wandb使用教程(一):基础用法

2. 超参数搜索

该部分的详细教程见:wandb使用教程(二):基于Launchpad实现分布式超参搜索

在机器学习任务中,通常涉及众多超参数,因此需要对这些超参数进行调整。wandb提供了超参数搜索的功能。然而,wandb更多是 提供参数搜索安排和可视化的功能,本身并没有提供分布式能力。因此,这里提供了一个结合Launchpad 和wandb的方式,来进行并行(或者分布式) 的超参数搜索。

注意:由于launchpad没有提供多机的分布式实现,因此如果在多台服务器或者k8s集群上实现 多机并行的超参数搜索,可以考虑使用TLaunch

  • 基础使用例子: test_sweep.sh,该例子提供了最小的wandb和launchpad结合 使用的例子。
  • 为CNN分类任务搜索dropout超参数: test_sweep.sh, 该例子提供一个以MNIST分类任务为基础, 搜索其dropout参数的例子。

3. 数据和模型管理

wandb还提供了数据和模型备份管理的功能,该部分详细教程见:wandb使用教程(三):数据与模型管理

  • 基础使用例子: test_artifcat.sh,该例子提供了一个备份MNIST训练数据的例子。

4. wandb本地部署

wandb还提供了服务器本地部署的功能,该部分详细教程见:wandb使用教程(四):wandb本地部署

Citing wandb_tutorial

If you use wandb_tutorial in your work, please cite us:

@article{huangshiyu2022wandb,
    title={wandb Tutorial},
    author={Shiyu Huang},
    year={2022},
    howpublished={\url{https://github.com/huangshiyu13/wandb_tutorial}},
}

wandb_tutorial's People

Stargazers

 avatar

Recommend Projects

  • React photo React

    A declarative, efficient, and flexible JavaScript library for building user interfaces.

  • Vue.js photo Vue.js

    🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.

  • Typescript photo Typescript

    TypeScript is a superset of JavaScript that compiles to clean JavaScript output.

  • TensorFlow photo TensorFlow

    An Open Source Machine Learning Framework for Everyone

  • Django photo Django

    The Web framework for perfectionists with deadlines.

  • D3 photo D3

    Bring data to life with SVG, Canvas and HTML. 📊📈🎉

Recommend Topics

  • javascript

    JavaScript (JS) is a lightweight interpreted programming language with first-class functions.

  • web

    Some thing interesting about web. New door for the world.

  • server

    A server is a program made to process requests and deliver data to clients.

  • Machine learning

    Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.

  • Game

    Some thing interesting about game, make everyone happy.

Recommend Org

  • Facebook photo Facebook

    We are working to build community through open source technology. NB: members must have two-factor auth.

  • Microsoft photo Microsoft

    Open source projects and samples from Microsoft.

  • Google photo Google

    Google ❤️ Open Source for everyone.

  • D3 photo D3

    Data-Driven Documents codes.