yuanjie-ai / chatllm Goto Github PK

View Code? Open in Web Editor NEW

425.0 8.0 51.0 41.9 MB

轻松玩转LLM兼容openai&langchain，支持文心一言、讯飞星火、腾讯混元、智谱ChatGLM等

Home Page: https://yuanjie-ai.github.io/ChatLLM/

License: MIT License

Makefile 0.02% Shell 0.01% Python 3.31% Jupyter Notebook 96.66% HTML 0.01%

chatgpt llm gpt4 langchain lora p-tuning chatllm chatpdf chatdoc chatbase

chatllm's Introduction

🔥ChatLLM 基于知识库🔥

ChatLLM API 分发系统上线

Click to Star⭐️免费领取tokens

https://api.chatllm.vip/

Install

pip install -U chatllm

Usages

目前适配的LLMs

计划推出国内 oneapi，支持各种主流大模型，兼容openai客户端生态。

from chatllm.applications import ChatBase

qa = ChatBase()
qa.load_llm(model_name_or_path="THUDM/chatglm-6b")
for i in qa(query='周杰伦是谁', knowledge_base='周杰伦是傻子'):
    print(i, end='')
# 根据已知信息无法回答该问题，因为周杰伦是**内地流行歌手、演员、音乐制作人、导演，
# 是具有一定的知名度和专业能力的人物，没有提供足够的信息无法判断他是傻子。

OpenaiEcosystem

Click to 无缝对接openai生态

# 服务端
pip install "chatllm[openai]" && chatllm-run openai <本地模型地址>

SDK：pip install openai

import openai

openai.api_base = 'http://0.0.0.0:8000/v1'
openai.api_key = 'chatllm'
prompt = "你好"
completion = openai.Completion.create(prompt=prompt, stream=True, model="text-davinci-003")
for c in completion:
    print(c.choices[0].text, end='')
# 你好👋!我是人工智能助手 ChatGLM-6B,很高兴见到你，欢迎问我任何问题。

客户端：点击下载chatbox，也可接入客户端

openai_keys: `不定期更新免费keys`

ChatOCR

Click to ChatOCR

from meutils.pipe import *
from chatllm.llmchain.applications import ChatOCR

llm = ChatOCR()
file_path = "data/invoice.jpg"
llm.display(file_path, 700)
llm.chat('识别编号,公司名称,开票日期,开票人,收款人,复核人,金额', file_path=file_path) | xprint

ChatMind

Click to ChatMind

pip install "chatllm" && chatllm-run webui --name chatmind

ChatPDF

Click to ChatPDF

pip install "chatllm[pdf]" && chatllm-run webui --name chatpdf

python交互

from chatllm.applications.chatpdf import ChatPDF

qa = ChatPDF(encode_model='nghuyong/ernie-3.0-nano-zh')
qa.load_llm(model_name_or_path="THUDM/chatglm-6b")
qa.create_index('财报.pdf')  # 构建知识库

for i in qa(query='东北证券主营业务'):
    print(i, end='')
# 根据已知信息，东北证券的主营业务为证券业务。公司作为证券公司，主要从事证券经纪、证券投资咨询、与证券交易、
# 证券投资活动有关的财务顾问、证券承销与保荐、证券自营、融资融券、证券投资基金代销和代销金融产品待业务。

支持召回结果查看

Deploy

Click to Deploy

ChatGLM-6B 模型硬件需求

量化等级	最低 GPU 显存（推理）	最低 GPU 显存（高效参数微调）
FP16（无量化）	13 GB	14 GB
INT8	8 GB	9 GB
INT4	6 GB	7 GB

从本地加载模型

TODO

Click to TODO

chatllm's People

Contributors

Stargazers

Watchers

chatllm's Issues

ImportError: cannot import name 'Client' from 'hubble'

Expected all tensors to be on the same device, but found at least two devices, cpu and cuda:0!

执行ChatPDF部分代码时，报错，

from chatllm.applications.chatpdf import ChatPDF

qa = ChatPDF(encode_model='nghuyong/ernie-3.0-nano-zh')
qa.load_llm4chat(model_name_or_path="THUDM/chatglm-6b")
qa.create_index('财报.pdf')  # 构建知识库

list(qa(query='东北证券主营业务'))

Expected all tensors to be on the same device, but found at least two devices, cpu and cuda:0! (when checking argument for argument mat2 in method wrapper_CUDA_mm)

ImportError: cannot import name 'st_chat' from 'meutils.serving.streamlit'

ImportError: cannot import name 'st_chat' from 'meutils.serving.streamlit' (/usr/local/lib/python3.10/dist-packages/meutils/serving/streamlit/init.py)

如何正确使用各个功能？

我成功使用run.sh运行了chatbot.py，但是看起来它并不能执行实际的功能？我是否需要将它部署到streamlit？我尝试了部署，但是被告知没有您的permission，您能指导我将整个程序正确运行吗？

ImportError: cannot import name 'clear_cuda_cache' from 'meutils.decorators'

Traceback (most recent call last):
File "/root/autodl-tmp/chatglm/ChatLLM-master/zystest.py", line 2, in
from chatllm.applications import ChatBase
File "/root/autodl-tmp/chatglm/ChatLLM-master/chatllm/applications/init.py", line 11, in
from chatllm.applications.chatbase import ChatBase
File "/root/autodl-tmp/chatglm/ChatLLM-master/chatllm/applications/chatbase.py", line 12, in
from meutils.decorators import clear_cuda_cache
ImportError: cannot import name 'clear_cuda_cache' from 'meutils.decorators' (/root/miniconda3/envs/chatglm20230401/lib/python3.9/site-packages/meutils/decorators/init.py)