carrychang / flask-keras-restful-api Goto Github PK

一键部署，源代码修改自： Building a simple Keras + deep learning REST API 使用TF2替换了原始的keras，为模型提速

1. 首先在服务器上部署虚拟环境 ,假设虚拟环境在/home,cd /home 进入home
2. 在hoem文件夹中使用python3 -m venv v1创建虚拟环境,v1就是虚拟环境的名字，然后使用souce v1/bin/activate加载虚拟环境
3. 在虚拟环境下使用pip install -r requirement.txt 安装所需要的库，然后使用chmod +777 restart.sh部署模型的后端
4. 使用ip:8000/predict是post的地址，使用python keras_model_client.py即可模拟请求，注意模型第一次初始化的时间因为需要加载预训练模型，推理速度有些慢，目前单机单线曾运行的正常推理速度在100ms之内，多进程部署会继续提速

1. keras_model_server.py表示后端的model api，直接通过post传参的形式进行，直接搭配nginx+Gunicorn部署即可
2. keras_model_client.py表示模型前端的调用，传入两张图片，然后使用imagenet的模型进行识别，模型第一次初始化的时间因为需要加载预训练模型，推理速度有些慢，目前单机单线曾运行的正常推理速度在100ms之内，多进程部署会继续提速

后端启动打印的log

模型输出的结果