lijiaqi0612 Goto Github PK

chinese-langchain

中文langchain项目|小必应，Q.Talk，强聊，QiangTalk

chinese_text_cnn

TextCNN Pytorch实现 中文文本分类 情感分析

docs

Documentations for PaddlePaddle

e3mall-268

learning-nlp

nlp in action

linly

Chinese-LLaMA 、Chinese-Falcon 基础模型；ChatFlow中文对话模型；中文OpenLLaMA模型；NLP预训练/指令微调数据集

llama-efficient-tuning

Easy-to-use fine-tuning framework using PEFT (PT+SFT+RLHF with QLoRA)

middleware-18

monai

AI Toolkit for Healthcare Imaging

paddle

PArallel Distributed Deep LEarning: Machine Learning Framework from Industrial Practice （『飞桨』核心框架，深度学习&机器学习高性能单机、分布式训练和跨平台部署）

paddlenlp

An NLP library with Awesome pre-trained Transformer models and easy-to-use interface, supporting wide-range of NLP tasks from research to industrial applications.

pytorch

Tensors and Dynamic neural networks in Python with strong GPU acceleration

tensorflow

An Open Source Machine Learning Framework for Everyone

text_proprecess

文本转拼音、提取英文字段、提取数字、提取中文字符、英文转中文、字符型的数字转中文的数字表示、拼音转文本、文本纠错、基于bert转词向量、基于bert转句向量、繁体字转简体、中文数字转阿拉伯数字

uie-acl-310

有一个通用实体关系事件抽取的任务，需要使用到UIE模框架，而且需要将起部署到昇腾310服务器上，因为UIE模型底层使用的是ernie3.0，但是目前paddle官方还不支持ernie3.0模型在昇腾310上部署，所以才有了以下的操作，主要过程是，先试用paddle训练处模型，然后使用 paddle2onnx.command.c_paddle_to_onnx方法将paddle的模型转为onnx模型 ，因现在的onnx模型是动态的shape和散乱的算子形态，需要使用paddle自带的工具paddle2onnx.optimize将onnx模型先进行重塑，固定好shape的维度，将散乱的算子进行整合，命令如下： $ python -m paddle2onnx.optimize --input_model /home/user/lijiaqi/PaddleNLP/model_zoo/uie/export_new/model.onnx --output_model /home/user/lijiaqi/model_new_uie.onnx --input_shape_dict "{'att_mask':[1,512],'pos_ids':[1,512],'token_type_ids':[1,512],'input_ids':[1,512]}" 然后将onnx模型在使用ATC工具转为acl所需要的om模型，这一步后面会讲。 另外在使用acl部署的时候，paddle框架是不能使用的，acl使用到的模型和训练过程均需要自己实现，包括from_pretrain阶段的分词，建立词表，数据处理部分，这部分我已经实现完，纯python版本的实现

wentiansearch

“阿里灵杰”问天引擎电商搜索算法赛 13/2771

wentiansearch-1

A baseline for WenTianSearch