效果如何优化 about langchain-chatchat HOT 46 CLOSED

主要是以下 3 方面可以优化：

1. 优化 text_split 算法，使匹配出的结果作为上下文时能够提供更合理的推理/回答依据；
2. 优化 embedding 模型，提升语义向量化的效果，使得语义匹配过程中能够匹配出最满足要求的文本段落作为上下文；
3. 优化 LLM 模型，使得给定提问相同情况下，得到更理想的推理/回答结果。

from langchain-chatchat.

追求高质量的话，question肯定是自己一条条列的，answer可以取巧一下，用gpt4来生成
当然也有取巧用gpt4来对文档生成不同question的方案，有点像让大模型自问自答，然后这些QA数据用来微调自己的“小”模型

from langchain-chatchat.

数据清洗是免不了的，即使你用 p-tuning或者lora也是一样的问题，只不过问毫不相关的问题时，不会出本地知识库的结果。可以在prompt里加些限制，比如告诉LLM，“如果无法从参考资料中得到答案，请忽略参考资料。”

from langchain-chatchat.

一般来说是要你们自己去微调这个GLM6B模型的，比方说你们想做法律相关的就准备法律领域的数据去微调它
GLM团队那边现在是使用P-tuning去做，吃不了太多显存的，对硬件比较友好

from langchain-chatchat.

langchain方式其实是拓展性最高的，只要在本地知识库加内容就行，实时加知识。
不过这种方式目前看有2个劣势：
匹配返回topk，知识库不全的话，匹配的内容完全不相关。
多轮对话，好像不太自然。

from langchain-chatchat.

有没有尝试过用Agent来实现，Agent可以做到多轮对话，若是涉及到本地知识库的，用tools询问本地vector store，将获取的上下文信息放入prompt中让LLM回答？
我用openai embedding+gpt-3.5-turbo试过，可行，不过困难的是让LLM判断是否需要agent来完成一次问答。

就是说如果不涉及到本地知识库的就让gpt-3.5正常交互，如果涉及到的把检索到的信息补充进prompt？那怎么判断是不是涉及到本地知识库呢，检索的步骤是少不了的吧。然后其实用chatglm应该也能做到和gpt3.5类似的效果？

「判断是不是涉及到本地知识库」就是问题，只能让AI自己判断(目前AI自己判断大约的正确率估计大约在6-7成左右)。我之前尝试过每次问答必须让agent走本地知识库，如果本地知识库中没有相关信息，就回答不知道。但是没有成功。

试试在这个命令模板基础上调整。我试过有一定效果，但是感觉还需要（在不fine-tune模型的基础上）继续调整用词来改进：

如果以下文段是空的，停止思考，回复"没有查询到任何知识库内容"。如果以下文段和用户问题有关，直接完整输出以下文段作为答案，停止思考。如果无法从以下文段中得到答案，停止思考，直接回复”不知道”。

from langchain-chatchat.

有没有尝试过用Agent来实现，Agent可以做到多轮对话，若是涉及到本地知识库的，用tools询问本地vector store，将获取的上下文信息放入prompt中让LLM回答？
我用openai embedding+gpt-3.5-turbo试过，可行，不过困难的是让LLM判断是否需要agent来完成一次问答。

就是说如果不涉及到本地知识库的就让gpt-3.5正常交互，如果涉及到的把检索到的信息补充进prompt？那怎么判断是不是涉及到本地知识库呢，检索的步骤是少不了的吧。然后其实用chatglm应该也能做到和gpt3.5类似的效果？

「判断是不是涉及到本地知识库」就是问题，只能让AI自己判断(目前AI自己判断大约的正确率估计大约在6-7成左右)。我之前尝试过每次问答必须让agent走本地知识库，如果本地知识库中没有相关信息，就回答不知道。但是没有成功。

试试在这个命令模板基础上调整。我试过有一定效果，但是感觉还需要（在不fine-tune模型的基础上）继续调整用词来改进：

如果以下文段是空的，停止思考，回复"没有查询到任何知识库内容"。如果以下文段和用户问题有关，直接完整输出以下文段作为答案，停止思考。如果无法从以下文段中得到答案，停止思考，直接回复”不知道”。

我在这个思路上做了尝试,将prompt修改为
PROMPT_TEMPLATE = """已知信息：
{context}
根据上述已知信息，简洁和专业的来回答用户的问题。如果无法从中得到答案，请忽略，直接使用原LLM_MODEL模型回答问题，不允许在答案中添加编造成分，答案请使用中文。 问题是：{question}"""

这样可以做到如果问题在知识库中能找到答案,则用找到的答案回答,如果找不到答案,就用chatglm6B回答,比如问一些不在知识库里的常规的问题:"介绍北京"..,也可以准确回答.

但发现无法进行多轮对话,比如问了**的首都在哪,回答北京后,再问详细介绍一下,就不会回答了,说没有提供更多的信息,无法回答,有人遇到过这种情况吗?

from langchain-chatchat.

大模型换了baichuan2-13b-chat，效果不如chatglm2

from langchain-chatchat.

有没有尝试过用 Agent 来实现，Agent 可以做到多轮对话，若是涉及到本地知识库的，用 tools 询问本地 vector store，将获取的上下文信息放入 prompt 中让 LLM 回答？
我用 openai embedding+gpt-3.5-turbo 试过，可行，不过困难的是让 LLM 判断是否需要 agent 来完成一次问答。

就是说如果不涉及到本地知识库的就让 gpt-3.5 正常交互，如果涉及到的把检索到的信息补充进 prompt？那怎么判断是不是涉及到本地知识库呢，检索的步骤是少不了的吧。然后其实用 chatglm 应该也能做到和 gpt3.5 类似的效果？

「判断是不是涉及到本地知识库」就是问题，只能让 AI 自己判断 (目前 AI 自己判断大约的正确率估计大约在 6-7 成左右)。我之前尝试过每次问答必须让 agent 走本地知识库，如果本地知识库中没有相关信息，就回答不知道。但是没有成功。

请问可以 share 一下相关代码吗，这边有个需求需要用到 agent 调用我写的 tool，但是在这个项目中没用到 agent，所以想参考下你的代码，感谢！

from langchain-chatchat.

主要是以下 3 方面可以优化：

1. 优化 text_split 算法，使匹配出的结果作为上下文时能够提供更合理的推理/回答依据；
2. 优化 embedding 模型，提升语义向量化的效果，使得语义匹配过程中能够匹配出最满足要求的文本段落作为上下文；
3. 优化 LLM 模型，使得给定提问相同情况下，得到更理想的推理/回答结果。

大佬有优化计划吗，本人AI小白，您说的这些都不是太懂~ 大部分人的使用场景应该都是通过私有的文档和代码训练出个人或团队专属的知识库，然而并不是每个团队都有做AI的同学😂，希望这块使用门槛能降一降

from langchain-chatchat.

@tutuxxx 可以参考 ChatGLM-6B 模型项目本身的 README，其中有关于 Tuning 的部分

from langchain-chatchat.

@imClumsyPanda @SilentMoebuta 好的谢谢，正在尝试。数据集这块有点疑问，真的需要手工一条条生成吗，我看到ChatGLM-6B项目下有同样的问题，这块大佬们有没有什么建议：THUDM/ChatGLM-6B#364

from langchain-chatchat.

langchain方式其实是拓展性最高的，只要在本地知识库加内容就行，实时加知识。 不过这种方式目前看有2个劣势： 匹配返回topk，知识库不全的话，匹配的内容完全不相关。 多轮对话，好像不太自然。

是的，第一个劣势比较要命。自己处理数据集又非常麻烦

from langchain-chatchat.

明白了，给各位大佬点赞👍

from langchain-chatchat.

@tutuxxx 可以参考 ChatGLM-6B 模型项目本身的 README，其中有关于 Tuning 的部分

显存确实不高，但是好慢呀

from langchain-chatchat.

@tutuxxx 可以参考 ChatGLM-6B 模型项目本身的 README，其中有关于 Tuning 的部分

显存确实不高，但是好慢呀

三个P40，三条数据，微调搞了两个半小时

from langchain-chatchat.

@tutuxxx 可以参考 ChatGLM-6B 模型项目本身的 README，其中有关于 Tuning 的部分

显存确实不高，但是好慢呀

三个P40，三条数据，微调搞了两个半小时

官方的p-tuning吗？

from langchain-chatchat.

@tutuxxx 可以参考 ChatGLM-6B 模型项目本身的 README，其中有关于 Tuning 的部分

显存确实不高，但是好慢呀

三个P40，三条数据，微调搞了两个半小时

官方的p-tuning吗？

是的，官方的代码，参数只改了CUDA_VISIBLE_DEVICES，传了0,1,2,3，但实测只占用了三张卡，而且都只占了不到一半显存。然后把那个广告的数据集换成了我自己的三条数据

from langchain-chatchat.

@tutuxxx 可以参考 ChatGLM-6B 模型项目本身的 README，其中有关于 Tuning 的部分

显存确实不高，但是好慢呀

三个P40，三条数据，微调搞了两个半小时

官方的p-tuning吗？

是的，官方的代码，参数只改了CUDA_VISIBLE_DEVICES，传了0,1,2,3，但实测只占用了三张卡，而且都只占了不到一半显存。然后把那个广告的数据集换成了我自己的三条数据

为啥会有3000个epoch。。正常应该是 3个epoch 3000条数据这种

from langchain-chatchat.

@tutuxxx 可以参考 ChatGLM-6B 模型项目本身的 README，其中有关于 Tuning 的部分

显存确实不高，但是好慢呀

三个P40，三条数据，微调搞了两个半小时

官方的p-tuning吗？

是的，官方的代码，参数只改了CUDA_VISIBLE_DEVICES，传了0,1,2,3，但实测只占用了三张卡，而且都只占了不到一半显存。然后把那个广告的数据集换成了我自己的三条数据

为啥会有3000个epoch。。正常应该是 3个epoch 3000条数据这种

不清楚，默认跑起来就是这样，是不是 --max_steps 3000 \ 这个参数决定的

from langchain-chatchat.

一张A100显卡执行train.py 2个半小时就训练完了, 但是设置 CUDA_VISIBLE_DEVICES = 0,1 使用两张A200训练的时候显示要73个小时。。。不明白咋回事

from langchain-chatchat.

Single RTX 2080Ti only used 3 hours.

from langchain-chatchat.

有没有尝试过用Agent来实现，Agent可以做到多轮对话，若是涉及到本地知识库的，用tools询问本地vector store，将获取的上下文信息放入prompt中让LLM回答？

我用openai embedding+gpt-3.5-turbo试过，可行，不过困难的是让LLM判断是否需要agent来完成一次问答。

from langchain-chatchat.

有没有尝试过用Agent来实现，Agent可以做到多轮对话，若是涉及到本地知识库的，用tools询问本地vector store，将获取的上下文信息放入prompt中让LLM回答？

我用openai embedding+gpt-3.5-turbo试过，可行，不过困难的是让LLM判断是否需要agent来完成一次问答。

就是说如果不涉及到本地知识库的就让gpt-3.5正常交互，如果涉及到的把检索到的信息补充进prompt？那怎么判断是不是涉及到本地知识库呢，检索的步骤是少不了的吧。然后其实用chatglm应该也能做到和gpt3.5类似的效果？

from langchain-chatchat.

@westlinkin 可以考虑让用户判断是不是基于文档进行对话，如果是已经上传文件之后的对话就基于文档，删除已上传文档之后就直接对话，可以通过调用不同函数对话的方式来区分，我在自己做api的过程中有使用这种方式

from langchain-chatchat.

有没有尝试过用Agent来实现，Agent可以做到多轮对话，若是涉及到本地知识库的，用tools询问本地vector store，将获取的上下文信息放入prompt中让LLM回答？
我用openai embedding+gpt-3.5-turbo试过，可行，不过困难的是让LLM判断是否需要agent来完成一次问答。

就是说如果不涉及到本地知识库的就让gpt-3.5正常交互，如果涉及到的把检索到的信息补充进prompt？那怎么判断是不是涉及到本地知识库呢，检索的步骤是少不了的吧。然后其实用chatglm应该也能做到和gpt3.5类似的效果？

「判断是不是涉及到本地知识库」就是问题，只能让AI自己判断(目前AI自己判断大约的正确率估计大约在6-7成左右)。我之前尝试过每次问答必须让agent走本地知识库，如果本地知识库中没有相关信息，就回答不知道。但是没有成功。

from langchain-chatchat.

有没有尝试过用Agent来实现，Agent可以做到多轮对话，若是涉及到本地知识库的，用tools询问本地vector store，将获取的上下文信息放入prompt中让LLM回答？
我用openai embedding+gpt-3.5-turbo试过，可行，不过困难的是让LLM判断是否需要agent来完成一次问答。

就是说如果不涉及到本地知识库的就让gpt-3.5正常交互，如果涉及到的把检索到的信息补充进prompt？那怎么判断是不是涉及到本地知识库呢，检索的步骤是少不了的吧。然后其实用chatglm应该也能做到和gpt3.5类似的效果？

「判断是不是涉及到本地知识库」就是问题，只能让AI自己判断(目前AI自己判断大约的正确率估计大约在6-7成左右)。我之前尝试过每次问答必须让agent走本地知识库，如果本地知识库中没有相关信息，就回答不知道。但是没有成功。

试试在这个命令模板基础上调整。我试过有一定效果，但是感觉还需要（在不fine-tune模型的基础上）继续调整用词来改进：

如果以下文段是空的，停止思考，回复"没有查询到任何知识库内容"。如果以下文段和用户问题有关，直接完整输出以下文段作为答案，停止思考。如果无法从以下文段中得到答案，停止思考，直接回复”不知道”。

请问是修改knowledge_based_chatglm.py的system_template吗？我试了下修改，然后直接问本地知识文档里的问题，source_documents显示匹配出对应知识，但还是有大部分问题，模型会倔强地回答自己的内容。
还是说，本地知识文档的格式有什么特殊要求吗？我是整理了问答对，一行数据是一个问答对。

from langchain-chatchat.

主要是以下 3 方面可以优化：

1. 优化 text_split 算法，使匹配出的结果作为上下文时能够提供更合理的推理/回答依据；
2. 优化 embedding 模型，提升语义向量化的效果，使得语义匹配过程中能够匹配出最满足要求的文本段落作为上下文；
3. 优化 LLM 模型，使得给定提问相同情况下，得到更理想的推理/回答结果。

你好，请问 text_split 算法相关的优化经验有哪些，分块的大小对效果的影响评估过吗？
embedding向量化与语言有关吗？比如上下文是英文的，用中文提问，同样的embedding可行吗？
多轮对话是否可以利用langchain的Conversational Memory能力优化呢？

from langchain-chatchat.

优化 LLM 模型，使得给定提问相同情况下，得到更理想的推理/回答结果。

第3条很难实现，因为目前没有模型能接收上万中文汉字作为数据集来训练和微调。

from langchain-chatchat.

我也是这样，多轮对话，直接忘掉前面了

from langchain-chatchat.

有没有尝试过用Agent来实现，Agent可以做到多轮对话，若是涉及到本地知识库的，用tools询问本地vector store，将获取的上下文信息放入prompt中让LLM回答？

我用openai embedding+gpt-3.5-turbo试过，可行，不过困难的是让LLM判断是否需要agent来完成一次问答。

大佬我也有这个需求，有啥进展么，这个项目感觉没有agent的demo那个bing感觉有点懵，langchain原生感觉可以

from langchain-chatchat.

还有问答对知识库，感觉很不稳定，准确性有限，不知道怎么微调或者调整导入的话术，以便跟准

from langchain-chatchat.

langchain方式其实是拓展性最高的，只要在本地知识库加内容就行，实时加知识。 不过这种方式目前看有2个劣势： 匹配返回topk，知识库不全的话，匹配的内容完全不相关。 多轮对话，好像不太自然。

是的，第一个劣势比较要命。自己处理数据集又非常麻烦

设置阈值，不能瞎匹配
VECTOR_SEARCH_SCORE_THRESHOLD

from langchain-chatchat.

我觉得可能是模型参数量较小，记不住多轮

from langchain-chatchat.

如果希望提升llm的效果，可以尝试使用微调模型，这里推荐尝试 langchain-ChatGLM 用户“帛凡” @BoFan-tunning 基于ChatGLM-6B 训练并提供的权重合并模型和 lora 权重文件 chatglm-fitness-RLHF，详细信息见 HuggingFace 模型介绍页，使用该模型或者lora权重文件，对比chatglm-6b、chatglm2-6b、百川7b，甚至其它未经过微调的更高参数的模型，在 langchain-ChatGLM 知识库平台中，总结能力可获得显著提升。

from langchain-chatchat.

我也是这样，多轮对话，直接忘掉前面了

需要看一下你保存了几轮历史记录，还有就是如果多轮问答字数超过32K模型就会有遗忘

from langchain-chatchat.

from langchain-chatchat.

效果相对于fastgpt真的很一般

from langchain-chatchat.

大模型换了baichuan2-13b-chat，效果不如chatglm2

baichuan2-13b-chat，显卡最低配置是多少？

from langchain-chatchat.

大模型换了baichuan2-13b-chat，效果不如chatglm2

baichuan2-13b-chat，显卡最低配置是多少？

两张4090就可以

from langchain-chatchat.

大模型换了baichuan2-13b-chat，效果不如chatglm2

baichuan2-13b-chat，显卡最低配置是多少？

确实感觉不如chatglm2，但现在测试了一下glm3，好像没有比glm2好到那里去，可能我使用的场景不一样吧

from langchain-chatchat.

不同的Vector DB搭配 Embedding算法也是會影響輸出結果的
可以嘗試不同的搭配，找到自己ok的那個點

剛剛測試了一輪發現回答的部分沒有差很多，但VectorDB建置 和知識庫查詢速度明顯快得多

from langchain-chatchat.

大模型换了baichuan2-13b-chat，效果不如chatglm2

baichuan2-13b-chat，显卡最低配置是多少？

确实感觉不如chatglm2，但现在测试了一下glm3，好像没有比glm2好到那里去，可能我使用的场景不一样吧

因为fschat没支持

from langchain-chatchat.

有没有尝试过用Agent来实现，Agent可以做到多轮对话，若是涉及到本地知识库的，用tools询问本地vector store，将获取的上下文信息放入prompt中让LLM回答？
我用openai embedding+gpt-3.5-turbo试过，可行，不过困难的是让LLM判断是否需要agent来完成一次问答。

就是说如果不涉及到本地知识库的就让gpt-3.5正常交互，如果涉及到的把检索到的信息补充进prompt？那怎么判断是不是涉及到本地知识库呢，检索的步骤是少不了的吧。然后其实用chatglm应该也能做到和gpt3.5类似的效果？

「判断是不是涉及到本地知识库」就是问题，只能让AI自己判断(目前AI自己判断大约的正确率估计大约在6-7成左右)。我之前尝试过每次问答必须让agent走本地知识库，如果本地知识库中没有相关信息，就回答不知道。但是没有成功。

试试在这个命令模板基础上调整。我试过有一定效果，但是感觉还需要（在不fine-tune模型的基础上）继续调整用词来改进：
如果以下文段是空的，停止思考，回复"没有查询到任何知识库内容"。如果以下文段和用户问题有关，直接完整输出以下文段作为答案，停止思考。如果无法从以下文段中得到答案，停止思考，直接回复”不知道”。

我在这个思路上做了尝试,将prompt修改为 PROMPT_TEMPLATE = """已知信息： {context} 根据上述已知信息，简洁和专业的来回答用户的问题。如果无法从中得到答案，请忽略，直接使用原LLM_MODEL模型回答问题，不允许在答案中添加编造成分，答案请使用中文。 问题是：{question}"""

这样可以做到如果问题在知识库中能找到答案,则用找到的答案回答,如果找不到答案,就用chatglm6B回答,比如问一些不在知识库里的常规的问题:"介绍北京"..,也可以准确回答.

但发现无法进行多轮对话,比如问了**的首都在哪,回答北京后,再问详细介绍一下,就不会回答了,说没有提供更多的信息,无法回答,有人遇到过这种情况吗?

请问这个后面解决了吗 感觉token量也不大，但二轮对话效果就很差

from langchain-chatchat.

这个问题已经被标记为 stale ，因为它已经超过 30 天没有任何活动。

from langchain-chatchat.

我想做一个基于本项目，提供pdf搭建本地知识库，请问单段文本最大长度和相邻文本重合长度这两个参数对模型回答的质量影响效果很大吗？我发现很多时候模型找不到相应的答案，能否通过统计pdf的字数和每句话的长短，设置这两个参数呢？分割是越长越好，还是越短越好呢？

from langchain-chatchat.