x1 = ADTangent(x=2., dx=1)
x2 = ADTangent(x=5., dx=0)
f = ADTangent.log(x) + x * x2 - ADTangent.sin(x2)
print(f)

x -> x1

DeepLearningSystem/Compiler/Backend/06.auto_tuning.pdf

UPUP，我申请加入，我是在自动驾驶领域做了8年算法的老兵，目前在和团队做大模型加速推理框架，正好在边做边学，故申请加入
[email protected]

Megatron-LM支持：数据并行+张量并行+流水并行。
DeepSpedd支持：数据并行+ZeRO优化器。
Megatron-DeepSpeed支持：数据并行+张量并行+流水并行+ZeRO优化器。
ZeRO优化器分为三种：ZeRO-stage1、ZeRO-stage1、ZeRO-stage3。
其中ZeRO-stage3也被称作FSDP。

ZeRO或者FSDP的应用示例：

1. https://github.com/tatsu-lab/stanford_alpaca
2. https://github.com/lm-sys/FastChat
3. https://github.com/hiyouga/LLaMA-Efficient-Tuning/blob/main/README_zh.md

ZeRO相关参考资料：

1. Samyam Rajbhandari, Jeff Rasley, Olatunji Ruwase, Yuxiong He. (2019) ZeRO: memory optimizations toward training trillion parameter models. arXiv:1910.02054 and In Proceedings of the International Conference for High Performance Computing, Networking, Storage and Analysis (SC ‘20).
2. ZeRO++: A leap in speed for LLM and chat model training with 4X less communication](https://www.microsoft.com/en-us/research/blog/deepspeed-zero-a-leap-in-speed-for-llm-and-chat-model-training-with-4x-less-communication/)
3. FairScale FULLY SHARDED DATA PARALLEL DOC https://fairscale.readthedocs.io/en/stable/api/nn/fsdp.html

https://chenzomi12.github.io/061FW_AICluster/01.introduction.html

一直也有学习ai编译器的想法，就是希望有类似的项目可以参与，虽然我是新手，但也想尽份力，我目前是从事深度学习工作的，不知道可以做点什么

文章补充内容与计划排期

AI编译原理

后端优化

表格内容错误：与上一章表格内容重复

https://github.com/chenzomi12/DeepLearningSystem/blob/40808fd83aa57b5c2fa032b9efc82b14b5098cc3/025FW_AIAlgo/README.md?plain=1#L15

Path of the image: 02Hardware/04NVIDIA/images/05DeepNvlink07.png

The image depicting NVLink 1.0 for the P100 shows the bandwidth as "20 Gbps" per link. This is incorrect and should be "20 GBps" (Gigabytes per second) per link.
Additionally, the total unidirectional bandwidth is listed as "80 Gbps" and the bidirectional bandwidth as "160 Gbps," which should be "80 GBps" and "160 GBps," respectively.
The image is referenced in 02Hardware/04NVIDIA/05DeepNvlink.md

https://github.com/chenzomi12/DeepLearningSystem/tree/main/025HW_Abroad

之前做移动端开发，现在想通过自学来搞端侧推理

like this：

APP: NLP something else

FRAME： nvidia Megatron LLM、 baidu PaddlePaddle and something else

language： Python

感谢大佬

Frontend/06_Parallel/03.tensor_parallel.pdf
Frontend/06_Parallel/04.mindspore_parallel.pdf

张量自动并行的 pdf & ppt 应该是搞错了，和前一节张量并行材料一模一样。

我在b站看到您关于AI芯片的介绍从而发现了这个repo，非常感谢您能够开源这些优秀的资料。
结合我之前学习的资料，希望能对自动微分部分进行一些修改，或者添加一个新的章节。

新的章节主要结合代码实现进行讲解，从基本的支持自动求导的Value类开始，最终实现一个MLP网络的训练，总代码量大概200行不到。

如果您觉得合适的话，我们可以讨论一下怎么修改。

修改主要参考：

1. Andrej Karpathy 的 youtube 视频
2. github repo
3. jupyter notebook

另外文档中还有一些笔误，我看到的话也可以提交修改。
目前我正在学习cuda和ai编译相关的内容，如果有机会的话也可以看看有没有合适的内容可以贡献。

Hi Zomi，Thx for your job. I am a AI Infra owner in car maker company. Hopefully we can be connected. Wechat ID: hello_jijing

我是一名车企的AI基础架构，希望可以多多交流。微信号是：hello_jijing

这个开源项目做的非常不错，随着LLM大火，也需要了解学习AIsys相关内容，才能完成企业内AI落地，因此希望加入开源项目一起学习讨论

如题

This issue is used to record some potential incorrect links. 😃

我学校开过《智能计算系统》这门课，有一些视频链接和实验笔记以及其他资源，我可以放上来吗，额外放一个文件夹收集

看到有构建 html 网站的脚本，对应的是 https://chenzomi12.github.io/020Framework/readme.html 站点吗？
请问是否可以同时通过 pandoc 生成 一下 PDF文件，方便在阅读器阅读、打印？

点开课程列表，选择任意一条.pdf文件点击进去，显示
Error rendering embedded code

Invalid PD

请问怎么解决，是我环境的问题吗？
谢谢作者