Frontend/06_Parallel/03.tensor_parallel.pdf
Frontend/06_Parallel/04.mindspore_parallel.pdf

张量自动并行的 pdf & ppt 应该是搞错了，和前一节张量并行材料一模一样。

UPUP，我申请加入，我是在自动驾驶领域做了8年算法的老兵，目前在和团队做大模型加速推理框架，正好在边做边学，故申请加入
[email protected]

我学校开过《智能计算系统》这门课，有一些视频链接和实验笔记以及其他资源，我可以放上来吗，额外放一个文件夹收集

x1 = ADTangent(x=2., dx=1)
x2 = ADTangent(x=5., dx=0)
f = ADTangent.log(x) + x * x2 - ADTangent.sin(x2)
print(f)

x -> x1

DeepLearningSystem/Compiler/Backend/06.auto_tuning.pdf

表格内容错误：与上一章表格内容重复

https://github.com/chenzomi12/DeepLearningSystem/blob/40808fd83aa57b5c2fa032b9efc82b14b5098cc3/025FW_AIAlgo/README.md?plain=1#L15

This issue is used to record some potential incorrect links. 😃

我在b站看到您关于AI芯片的介绍从而发现了这个repo，非常感谢您能够开源这些优秀的资料。
结合我之前学习的资料，希望能对自动微分部分进行一些修改，或者添加一个新的章节。

新的章节主要结合代码实现进行讲解，从基本的支持自动求导的Value类开始，最终实现一个MLP网络的训练，总代码量大概200行不到。

如果您觉得合适的话，我们可以讨论一下怎么修改。

修改主要参考：

1. Andrej Karpathy 的 youtube 视频
2. github repo
3. jupyter notebook

另外文档中还有一些笔误，我看到的话也可以提交修改。
目前我正在学习cuda和ai编译相关的内容，如果有机会的话也可以看看有没有合适的内容可以贡献。

如题

https://github.com/chenzomi12/DeepLearningSystem/tree/main/025HW_Abroad

感谢大佬

文章补充内容与计划排期

AI编译原理

后端优化

Megatron-LM支持：数据并行+张量并行+流水并行。
DeepSpedd支持：数据并行+ZeRO优化器。
Megatron-DeepSpeed支持：数据并行+张量并行+流水并行+ZeRO优化器。
ZeRO优化器分为三种：ZeRO-stage1、ZeRO-stage1、ZeRO-stage3。
其中ZeRO-stage3也被称作FSDP。

ZeRO或者FSDP的应用示例：

1. https://github.com/tatsu-lab/stanford_alpaca
2. https://github.com/lm-sys/FastChat
3. https://github.com/hiyouga/LLaMA-Efficient-Tuning/blob/main/README_zh.md

ZeRO相关参考资料：

1. Samyam Rajbhandari, Jeff Rasley, Olatunji Ruwase, Yuxiong He. (2019) ZeRO: memory optimizations toward training trillion parameter models. arXiv:1910.02054 and In Proceedings of the International Conference for High Performance Computing, Networking, Storage and Analysis (SC ‘20).
2. ZeRO++: A leap in speed for LLM and chat model training with 4X less communication](https://www.microsoft.com/en-us/research/blog/deepspeed-zero-a-leap-in-speed-for-llm-and-chat-model-training-with-4x-less-communication/)
3. FairScale FULLY SHARDED DATA PARALLEL DOC https://fairscale.readthedocs.io/en/stable/api/nn/fsdp.html

之前做移动端开发，现在想通过自学来搞端侧推理

Hi Zomi，Thx for your job. I am a AI Infra owner in car maker company. Hopefully we can be connected. Wechat ID: hello_jijing

我是一名车企的AI基础架构，希望可以多多交流。微信号是：hello_jijing

like this：

APP: NLP something else

FRAME： nvidia Megatron LLM、 baidu PaddlePaddle and something else

language： Python

点开课程列表，选择任意一条.pdf文件点击进去，显示
Error rendering embedded code

Invalid PD

请问怎么解决，是我环境的问题吗？
谢谢作者

一直也有学习ai编译器的想法，就是希望有类似的项目可以参与，虽然我是新手，但也想尽份力，我目前是从事深度学习工作的，不知道可以做点什么

https://chenzomi12.github.io/061FW_AICluster/01.introduction.html

这个开源项目做的非常不错，随着LLM大火，也需要了解学习AIsys相关内容，才能完成企业内AI落地，因此希望加入开源项目一起学习讨论

看到有构建 html 网站的脚本，对应的是 https://chenzomi12.github.io/020Framework/readme.html 站点吗？
请问是否可以同时通过 pandoc 生成 一下 PDF文件，方便在阅读器阅读、打印？