starring2022 / chatgptx-uni Goto Github PK

看了代码，本质上模型没有任何更新，你的学习前，学习中和学习后的区别就是prompt发生了变化。其实模型没有学到任何东西。

zero-lora零训练llm调参算法
https://github.com/ziwang-com/zero-lora

工程案例参见：全球首个StableVicuna中文优化版。

https://github.com/ziwang-com/chinese-StableVicuna

整个项目，仅用半天时间，其中大部分时间花在格式转换方面，与zero-lora相关的环节，不到20%。

zero-loro零训练llm调参算法，属于zw团队在llm一线工程中，总结的实战算法，相关理论，正在摸索当中，欢迎llm领域的专家学者，共同探讨。

RT

PS 有preprint paper吗

my friend，需要一个实验分析和结果来证明你的实验的有效性

看了介绍，似乎是准备把羊驼的lora权重加在glm6b上面？据实测，羊驼中文能力很一般，glm中文挺强的，不知道融完后是1+1>2还是小于2呢

我们工作的努力，便是将LLAMA-7B模型在Chinese-Alpaca数据集上利用Lora进行微调，得到Lora权值文件，将该权值文件镶嵌进ChatGLM预训练模型中。

不太理解不同的模型（LLAMA-7B和chatGLM）是如何实现lora融合的，能详细介绍一下吗？
我的理解：将LLAMA-7B模型在Chinese-Alpaca数据集上利用Lora进行微调，得到Lora权值文件，只是适用于LLAMA-7B模型的，不太理解这个lora权重，是如何融合到chatGLM里面的。
谢谢！