Comments (7)
Ollama模型的地址写这个: http://host.docker.internal:11434
from one-api.
oneapi的测试调用的是chat接口,m3e,404正常的,你要去fasgpt测试
llm2可能是你服务器防火墙端口没开
from one-api.
oneapi的测试调用的是chat接口,m3e,404正常的,你要去fasgpt测试
llm2可能是你服务器防火墙端口没开
好的,大佬,那:
关于m3e
-
容器里的日志报错要不要管他,他说他找不到模型文件
-
然后,我今天测试还发现,CURL下都无法正常访问M3E,一直提示未授权
-
我是容器部署的,默认key我试过了没用,我就把环境里叫**GPG_KEY**的参数,给替换”sk-“后面的值,也是失败,失败提示都是同一个:
{"detail":"Not authenticated"}
- 容器的完整环境:
PATH=/usr/local/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin
LANG=C.UTF-8
GPG_KEY=E3FF2839C048B25C084DEBE9B26995E310250568
PYTHON_VERSION=3.8.17
PYTHON_PIP_VERSION=23.0.1
PYTHON_SETUPTOOLS_VERSION=57.5.0
PYTHON_GET_PIP_URL=https://github.com/pypa/get-pip/raw/0d8570dc44796f4369b652222cf176b3db6ac70e/public/get-pip.py
PYTHON_GET_PIP_SHA256=96461deced5c2a487ddc65207ec5a9cffeca0d34e7af7ea1afc470ff0d746207
关于ollama的llm2
-
我本地没有部署有防火墙;测试过如果填的地址是错的,他会直接404,不会提示链接被拒绝
-
我今晚更新了最新的one-api,官方支持ollama了,但依旧是同样的报错,大佬指点下
from one-api.
oneapi的测试调用的是chat接口,m3e,404正常的,你要去fasgpt测试
llm2可能是你服务器防火墙端口没开
关于ollama
我发现直接用curl测试都报错,根据掘金这个帖子拿的curl
但我本地用ollama run llama2:7b
是跑得起来的
from one-api.
oneapi的测试调用的是chat接口,m3e,404正常的,你要去fasgpt测试
llm2可能是你服务器防火墙端口没开关于ollama
我发现直接用curl测试都报错,根据掘金这个帖子拿的curl指令
-
我用lucky开了个端口转发,这ollama玩死人的,开了个监听端口在127.0.0.1这个地址而不是0.0.0.0这个地址,开了端口转发,终于可以用CURL在局域网调用它了
-
大佬知道怎么在Linux里修改他吗,这个监听地址,百度一堆都是说Windows环境的,Linux里改监听地址只字不提
-
CURL可以了,但是 one-api依旧不行
-
Oneapi请求的浏览器记录:
-
请求
请求网址:http://192.168.1.3:3000/api/channel/test/3
请求方法:GET
状态代码:200 OK
远程地址:192.168.1.3:3000
引荐来源网址政策:strict-origin-when-cross-origin
Referer:http://192.168.1.3:3000/channel
User-Agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36
- 响应
{"message":"status code 404: ","success":false,"time":0.001}
from one-api.
oneapi的测试调用的是chat接口,m3e,404正常的,你要去fasgpt测试
llm2可能是你服务器防火墙端口没开关于ollama
我发现直接用curl测试都报错,根据掘金这个帖子拿的curl指令
- 我用lucky开了个端口转发,这ollama玩死人的,开了个监听端口在127.0.0.1这个地址而不是0.0.0.0这个地址,开了端口转发,终于可以用CURL在局域网调用它了
- 但是 one-api依旧不行
m3e
大佬,m3e不通过oneapi怎么接入到fastgpt?
我尝试过:把m3e的接口地址填到docker文件里,然后删了已有的容器,重新建一个容器,docker-compose配置如下
# 非 host 版本, 不使用本机代理
# (不懂 Docker 的,只需要关心 OPENAI_BASE_URL 和 CHAT_API_KEY 即可!)
version: '3.3'
services:
pg:
image: ankane/pgvector:v0.5.0 # git
# image: registry.cn-hangzhou.aliyuncs.com/fastgpt/pgvector:v0.5.0 # 阿里云
container_name: pg
restart: always
ports: # 生产环境建议不要暴露
- 5432:5432
networks:
- fastgpt
environment:
# 这里的配置只有首次运行生效。修改后,重启镜像是不会生效的。需要把持久化数据删除再重启,才有效果
- POSTGRES_USER=username
- POSTGRES_PASSWORD=password
- POSTGRES_DB=postgres
volumes:
- ./pg/data:/var/lib/postgresql/data
mongo:
image: registry.cn-hangzhou.aliyuncs.com/fastgpt/mongo:5.0.18
container_name: mongo
restart: always
ports:
- 27017:27017
networks:
- fastgpt
command: mongod --keyFile /data/mongodb.key --replSet rs0
environment:
- MONGO_INITDB_ROOT_USERNAME=myusername
- MONGO_INITDB_ROOT_PASSWORD=mypassword
volumes:
- ./mongo/data:/data/db
entrypoint:
- bash
- -c
- |
openssl rand -base64 128 > /data/mongodb.key
chmod 400 /data/mongodb.key
chown 999:999 /data/mongodb.key
exec docker-entrypoint.sh $$@
fastgpt:
container_name: fastgpt
image: ghcr.io/labring/fastgpt:latest # git
# image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:latest # 阿里云
ports:
- 3020:3020
networks:
- fastgpt
depends_on:
- mongo
- pg
restart: always
environment:
# root 密码,用户名为: root
- DEFAULT_ROOT_PSW=1234
# 中转地址,如果是用官方号,不需要管。务必加 /v1
- OPENAI_BASE_URL=http://192.168.1.3:6008/v1
- CHAT_API_KEY=sk-aaabbbcccdddeeefffggghhhiiijjjkkk
- DB_MAX_LINK=5 # database max link
- TOKEN_KEY=any
- ROOT_KEY=root_key
- FILE_TOKEN_KEY=filetoken
# mongo 配置,不需要改. 用户名myusername,密码mypassword。
- MONGODB_URI=mongodb://myusername:mypassword@mongo:27017/fastgpt?authSource=admin
# pg配置. 不需要改
- PG_URL=postgresql://username:password@pg:5432/postgres
volumes:
- ./config.json:/app/data/config.json
networks:
fastgpt:
from one-api.
Ollama模型的地址写这个: http://host.docker.internal:11434
这个管用
from one-api.
Related Issues (20)
- 图片生成dall-e-3巨大Bug!引发size not supported for this image model HOT 4
- 访问api/models接口404
- default用户可以调用到vip令牌 HOT 3
- 对接讯飞星火v3.5测试提示invalid auth HOT 1
- 新注册提示验证码过期或者错误
- SYNC_FREQUENCY not set, Redis is disabled
- 希望可以代理Mathpix接口
- 使用vllm离线运行本地大模型,建立one-api渠道,显示测试无法接通。 HOT 4
- Gemini-1.5-pro出错 HOT 10
- 希望增加 gemini-1.0-ultra-latest 模型的支持 HOT 2
- UX小建议 - 本地缓存下渠道排序 HOT 3
- 阿里的模型,导入成功测试成功,怎么使用聊天啊,虚心求教 HOT 3
- 使用Redis后,用户余额缓存问题。
- LLM api response empty HOT 3
- 希望增加通过自定义模型名来轮询不同的国内AI服务商 HOT 5
- openai和claude的参数兼容 HOT 2
- 请支持阿里千文的FUNCTION调用 HOT 4
- 对接sunoapi HOT 1
- how to fix: react must be in scope when using JSX issue
- 为何对于 Claude 要默认带 max_tokens 参数? HOT 4
Recommend Projects
-
React
A declarative, efficient, and flexible JavaScript library for building user interfaces.
-
Vue.js
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
-
Typescript
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
-
TensorFlow
An Open Source Machine Learning Framework for Everyone
-
Django
The Web framework for perfectionists with deadlines.
-
Laravel
A PHP framework for web artisans
-
D3
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
-
Recommend Topics
-
javascript
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
-
web
Some thing interesting about web. New door for the world.
-
server
A server is a program made to process requests and deliver data to clients.
-
Machine learning
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
-
Visualization
Some thing interesting about visualization, use data art
-
Game
Some thing interesting about game, make everyone happy.
Recommend Org
-
Facebook
We are working to build community through open source technology. NB: members must have two-factor auth.
-
Microsoft
Open source projects and samples from Microsoft.
-
Google
Google ❤️ Open Source for everyone.
-
Alibaba
Alibaba Open Source for everyone
-
D3
Data-Driven Documents codes.
-
Tencent
China tencent open source team.
from one-api.