Llama2中文版开源模型全方位测评，基于SuperCLUE基准

Facebook母公司Meta发布了开源可商用的大模型Llama2，该开源模型受到广泛关注。Llama2为初创企业和其他企业提供了一个强大的免费选择。新版本Llama2将训练数据量增加了 40%，它包括70亿、130亿和700亿参数量的多个版本，此外还有对应的聊天机器人调优版本Llama 2-Chat。最近国内外大厂包括微软、阿里云等也宣布支持Llama2。开源社区和大量机构、个人，也纷纷着手基于Llama2构建中文版本及其应用。

基于Llama2的中文版本的效果怎么样？当前开源版本做到什么程度了；与国内代表性模型相比，特别是开源模型（baichuan-13b, chatglm2-6b）的相对表现如何；在一些比较关注的能力上，如生成与创作、逻辑推理、代码生成，表现怎么样呢？

基于SuperCLUE开放式与多轮测评基准（OPEN），即针对开放式的问题并结合多轮对话能力的测试，我们首次对Llama2中文版模型进行了定量和定性评估。通过前者可以看到模型的相对其他模型的表现，以及十大能力维度上的表现；而后者从一些典型示例中看到模型的表现（包括相对成熟和不足的能力）。

[2023-08-02] 添加 Chinese-Alpaca-2-7B

计算方法： 针对一个特定的开放式问题，利用超级模型作为评判官，计算被评估的模型相对于基线模型（如gpt-3.5）的胜、平局或失败的个数； 胜和率，是模型的胜率加上平局率之和，即(win+tie)/(win+tie+loss)*100。win，即胜，tie即平，loss即负。

胜和率，是模型的胜率加上平局率之和，即(win+tie)/(win+tie+loss)*100。win，即胜，tie即平，loss即负。

在SuperCLUE开放式多轮测评-十大能力成绩评估中，我们发现Llama2中文模型在多数任务上效果总体效果还比较一般，多数能力的平均分离及格线都有比较大的差距。

生成与创作，比如给定一个话题、一个写作任务来创作一段文字对于LLMs而言是相对比较容易的任务。 我们发现作为中文llama-2微调模型中的佼佼者， OpenBuddy生成的内容在结构性、丰富度上距离百川13b仍有不小的差距，并且openbuddy的形容过于宽泛而缺少具体例子， 有些词汇使用的也不太合适，比如用敏锐描述幽默感便有些不恰当。

openbuddy能精确地理解用户的意图完成任务，但是从返回的内容本身以及格式上来说openbuddy输出的内容不如百川的好。

在两轮对话的测试中，两个模型都能正确的完成任务。 在我们给出的示例中，openbuddy在第一轮的回答中给出的建议不如百川13b给出的建议充分，但两者的回答结构都非常优秀，让用户能有不错的体验。在第二轮对话中，虽然openbuddy修改了自己的回答，但是相比百川，其修改的幅度较小，很大比例是照搬上一轮的回答。

代码，属于百川和openbuddy都不擅长的领域。和我们在百川测评推文中提到的一样，在我们给出的示例中，百川虽然能完成任务，但是给出的代码完全没考虑到非整数元素不需要逆转。 至于openbuddy，其虽然理解了用户仅将整数逆转的需求，但是给出的代码仅仅是把原列表中的整数按顺序放入新列表返回，并且给出的示例也和其给出的代码的实际效果不一致。

回顾我们上一篇的推文，可以发现Llama-2-13B-chat本身也会出现给出的代码与给出的代码用例不一致的情况。

逻辑推理，同样属于百川和openbuddy都不擅长的领域。两者对问题的回答都是错误的。其中openbuddy的回答更显混乱一些，不仅没能正确理解问题，而且出现了许多非常初等的计算错误，比如4-2-4=0这种错误回答。两个模型都在回答时搞错了卡牌的总数，而我们在问题中是明确指出总共有十张卡牌的。 正确答案是4张绿色背景卡牌

回顾Llama-2-13B-chat可以看到，Llama-2-13B-chat同样无法给出正确答案。

1. 指令微调：根据已经开源的版本看，目前主要是基于Llama2进行指令微调。
2. 高效微调：目前普遍采用高效微调技术（如LoRA/QLoRA） 来微调大模型（如FlagAlpha, firefly_llama2_13b等）。 这类技术上具备在单张GPU上微调大型语言模型的能力。LoRa为LLM的每一层添加了少量的可训练参数（适配器），并冻结了所有原始参数。 这样对于微调，只需要更新适配器权重，这可以显著减少内存占用；QLoRA通过更高的量化（4-bit）和更多的可微调参数等进行改进。
3. 中文词汇表：部分模型（如openbuddy-llama2-13b）改进或扩充词汇表，实现中文上更好的支持。
4. 微调数据：使用百万微调数据进行微调，开源或构造特定领域数据（yayi）

1. 整体质量：基于SuperCLUE的OPEN基准，当前处于Llama2中文版的初级阶段，总体上模型质量参差不齐。 在本次评估的5个模型中，在OPEN基准上有3个模型效果远远小于Llama2原版的效果（10多分 vs 27分）
2. 存在不错模型：有部分模型取得不错的效果（如OpenBuddy），效果与ChatGLM2-6B接近（35.12 VS 36.50）；但与Baichuan-13B-Chat相比还有明显差距（35.12 VS 65.18）
3. 与先进模型差距大：开源Llama2中文模型中，OpenBuddy与GPT3.5对战的胜率最高，但仅为12%，要达到接近GPT3.5的效果（胜率提升至33%），还有很长的路要走。
4. 部分任务已经有效果：任务维度上，一些模型（openbuddy，FlagAlpha）具有还不错的生成与创作能力；并且在多种任务上都可以生成较长的回复，有些结构比较完整。

1. 它是一个自动化的模型能力测评，没有人类的主观因素；虽然加州伯克利大学/斯坦福大学的相关研究表明（见延伸阅读）， 自动化测评具有与人类评估的高度一致性（相关系数0.8-0.9），但进一步的分析还可以包括人类对模型的评估；
2. 评估的能力主要是基于SuperCLUE的十大基础能力，即使具有较高的代表性，但并不能保证覆盖了所有能力的评估。
3. 当前各个大模型厂商在快速迭代中，虽然我们报告的数字是最新的（7月中旬），但各个厂商的快速迭代可能会导致后续相对表现的进一步变化。
4. 在本文中，我们没有测试一些其他但有用的维度。比如，我们没有测试模型的性能问题（速度），也还没有测试模型的支持的有效的输入长度。后续可能会进行专门的测试。

1. SuperCLUE: A Comprehensive Chinese Large Language Model Benchmark，
2. SuperCLUE-OPEN基准：中文通用大模型开放式与多轮测评基准（7月）
3. LMSYS文章：Chatbot Arena Leaderboard Week 8: Introducing MT-Bench and Vicuna-33B
4. 相关项目：Alpaca_Eval: A validated automatic evaluator for instruction-following language models

SuperCLUE榜单大模型评测申请：https://wj.qq.com/s2/12305633/a73d/

模型内测需求收集：https://wj.qq.com/s2/12307825/2ae0/

如果使用本项目的，请引用本项目。

@misc{SuperCLUE,
  author = {Liang Xu, Anqi Li, Lei Zhu, Hang Xue, Changtai Zhu, Kangkang Zhao, Haonan He, Xuanwei Zhang, Qiyue Kang, Zhenzhong Lan},
  title = {SuperCLUE: A Comprehensive Chinese Large Language Model Benchmark},
  year = {2023},
  publisher = {arxiv},
  howpublished = {\url{https://arxiv.org/abs/2307.15020}},
}