View Code? Open in Web Editor
NEW
实现一种多Lora权值集成切换+Zero-Finetune零微调增强的跨模型技术方案,LLM-Base+LLM-X+Alpaca,初期,LLM-Base为Chatglm6B底座模型,LLM-X是LLAMA增强模型。该方案简易高效,目标是使此类语言模型能够低能耗广泛部署,并最终在小模型的基座上发生“智能涌现”,力图最小计算代价达成ChatGPT、GPT4、ChatRWKV等人类友好亲和效果。当前可以满足总结、提问、问答、摘要、改写、评论、扮演等各种需求。
License: GNU General Public License v3.0
chatgptx-uni's People
Contributors
chatgptx-uni's Issues
看了代码,本质上模型没有任何更新,你的学习前,学习中和学习后的区别就是prompt发生了变化。其实模型没有学到任何东西。
my friend,需要一个实验分析和结果来证明你的实验的有效性
看了介绍,似乎是准备把羊驼的lora权重加在glm6b上面?据实测,羊驼中文能力很一般,glm中文挺强的,不知道融完后是1+1>2还是小于2呢
我们工作的努力,便是将LLAMA-7B模型在Chinese-Alpaca数据集上利用Lora进行微调,得到Lora权值文件,将该权值文件镶嵌进ChatGLM预训练模型中。
不太理解不同的模型(LLAMA-7B和chatGLM)是如何实现lora融合的,能详细介绍一下吗?
我的理解:将LLAMA-7B模型在Chinese-Alpaca数据集上利用Lora进行微调,得到Lora权值文件,只是适用于LLAMA-7B模型的,不太理解这个lora权重,是如何融合到chatGLM里面的。
谢谢!