corleytd / chatgpt_principle_fine-tuning_code_paper Goto Github PK

ChatGPT一经推出便火爆全球，为了彻底写清楚ChatGPT背后的所有关键细节，July从1月初写到5月底仍未完工，过程中涉及到多篇文章(RL 论文 项目 CV多模态)，再加上之前写的Transformer、RL数学基础等多篇笔记，成了一个大系列：

• ChatGPT技术原理解析：从RL之PPO算法、RLHF到GPT4、instructGPT
• Transformer通俗笔记：从Word2Vec、Seq2Seq逐步理解到GPT、BERT
• RL所需的微积分/概率统计基础、最优化基础
• 强化学习极简入门：通俗理解MDP、DP MC TC和Q学习、策略梯度、PPO
• ChatGPT与多模态必读论文100篇(2.27日起，每周更新)
• 类ChatGPT的部署与微调：从LLaMA、Alpaca/Vicuna/BELLE、中文版、从GLM、ChatGLM到MOSS、ChatDoctor、可商用
• 类ChatGPT代码逐行解读：从零实现Transformer、ChatGLM-6B、从零实现TRL、ChatLLaMA、ColossalChat、DeepSpeed Chat
• AI绘画与CV多模态原理解析：VAE、扩散模型DDPM、DETR、ViT/Swin transformer、CLIP/BLIP到stable diffusion、GPT4(后者待6月中旬发布)

————————————————

23年5月9日，七月ChatGPT原理解析课的一学员虞同学在群内建议道：“或者我们自己是否也可以搞一个项目，大家共同参与科研维护”，之后多位同学响应表示支持

July个人觉得也可以：“比如项目之一，可以先以我博客内部分文章 搬到GitHub上，然后维护修改旧的章节、扩写新的章节，再之后共同开发LLM对话机器人之类的项目”，于此便有了本GitHub：ChatGPT资源库(原理/微调/代码/论文)

• 本周到月底，10-30人共同把我博客内部分文章搬到GitHub上，最多30人分4批，搬总计4个部分的内容，依次包含：原理解析 部署微调 代码实现 必读论文(每个人可以选择搬其中一部分或两三个部分)

  当然，这4部分会对应好几个课，而该GitHub算是对应课程的补充学习资料

• 差不多后，比如5月底发到七月ChatGPT课的两个群和外界，邀请所有人star，和所有人做进一步的迭代、维护(比如增加我博客外的内容，比如提示工程)，我相信5月底正式对外发布之后 star很快能成千上万

• 6月起，扩写新内容，比如July博客之外，更多模型的原理解析、部署微调、代码实现、论文解读

6月初，再召集10-20人再共同基于相关开源代码，开发出一个完整的LLM对话机器人等项目(好处多多，比如若是开发者之一 可以写到简历上) 如此，咱们也算成为国内前几批参与LLM的开发者，不负时代 不负年华

6月底差不多后 先只邀请七月的学员基于该项目进一步开发，或者学习

July、七月ChatGPT原理课的十几位同学，他们是：@corleytd、@EdwardSelf、@JusticeGL、@wangzaistone、@windspin2003、@zh2nlp..