🤗 Hugging Face • 🤖 ModelScope

• 基于一系列开源大模型构建，在通用日文语料与轻小说/Galgame等领域的中日语料上进行继续预训练与微调，旨在提供性能接近GPT3.5且完全离线的Galgame/轻小说翻译大语言模型。

• 同时提供了运行模型的API后端，适配OpenAI API格式。

• 新建了TG交流群，欢迎交流讨论。

如果使用模型翻译并发布，请在最显眼的位置标注机翻！！！！！开发者对于滥用本模型造成的一切后果不负任何责任。

对于模型翻译的人称代词问题（错用，乱加，主宾混淆，男女不分等）和上下文理解问题，如果有好的想法或建议，欢迎提issue！

详见本仓库Wiki.

1. 预览版v0.9.0pre2模型发布。该版本模型只是预览版本，目前可能仍存在问题。修复了上一预览版本短文本退化的问题。

2. 网站：轻小说机翻机器人已接入Sakura模型(v0.8-4bit)，站内有大量模型翻译结果可供参考。你也可以自行部署模型并使用该网站生成机翻，目前已经支持v0.8与v0.9模型，且提供了llama.cpp一键包。

   轻小说机翻机器人网站是一个自动生成轻小说机翻并分享的网站。你可以浏览日文网络小说，或者上传Epub/Txt文件，并生成机翻。

3. LunaTranslator已经支持Sakura API，可以通过本地部署API后端，并在LunaTranslator中配置Sakura API来使用Sakura模型翻译Galgame。

   LunaTranslator是一个Galgame翻译工具，支持剪贴板、OCR、HOOK，支持40余种翻译引擎。

目前仍为实验版本，翻译质量在文风与流畅度上强于GPT-3.5，但词汇量逊于GPT-3.5. 个人使用推荐GPT4.

• 将dev_server分支合并到主分支，并将api格式改为openai like api格式。
• 支持多种后端至v0.9
  • llama.cpp server
  • llama-cpp-python
  • autogptq
  • llm-sharp
• 适配翻译工具
  • LunaTranslator
  • GalTransl
  • BallonsTranslator
• 提供Python部署一键包
• 发布v0.9模型
• ~7B模型测试
• ~30B模型测试

下面的表格显示了使用不同量化和不同格式的模型时显存占用的大小。如果你的显卡显存不满足上述需求，可以尝试同时使用CPU与GPU进行推理。

• llama.cpp GGUF模型（使用v0.9.0pre1模型进行测试，v0.8模型与其类似）

• transformers autogptq模型（使用v0.8版本进行测试）

20231125: 上传第六版模型预览，改善数据集质量与格式，使用Qwen-14B-Chat模型进行继续预训练+微调，增加数据集。

20231026：上传第五版模型sakura-13b-2epoch-3.8M-1025-v0.8，改善数据集质量与格式，修复之前版本模型无法正确解析\n的问题，使用Baichuan2-13B-Chat模型进行微调。

20231011：上传第四版模型sakura-14b-2epoch-4.4M-1003-v0.7，改用QWen-14B-Chat模型进行微调，针对较长文本进行优化，增加数据集。

20230918：上传第三版模型的8bits量化版sakura-13b-2epoch-2.6M-0917-v0.5-8bits。

20230917：上传第三版模型sakura-13b-2epoch-2.6M-0917-v0.5，改用Baichuan2-13B-Chat模型进行微调，翻译质量有所提高。

20230908：上传第二版模型sakura-13b-1epoch-2.6M-0903-v0.4，使用Galgame和轻小说数据集进行微调，语法能力有所提高。感谢CjangCjengh大佬提供轻小说数据集。

20230827：上传第一版模型sakura-13b-2epoch-260k-0826-v0.1

• Finetuned by SakuraUmi
• Finetuned on Baichuan2-13B-Chat
• Finetuned on Qwen-14B-Chat
• Languages: Chinese/Japanese

• Galgame

  TBD

• 轻小说

  网站：轻小说机翻机器人已接入Sakura模型(v0.8-4bit)，站内有大量模型翻译的轻小说可供参考。

• PPL/BLEU/Human

  TBD

• prompt构建：

  • v0.8

    input_text = "" # 要翻译的日文
    query = "将下面的日文文本翻译成中文：" + input_text
    prompt = "<reserved_106>" + query + "<reserved_107>"

  • v0.9

    input_text = "" # 要翻译的日文
    query = "将下面的日文文本翻译成中文：" + input_text
    prompt = "<|im_start|>system\n你是一个轻小说翻译模型，可以流畅通顺地以日本轻小说的风格将日文翻译成简体中文，并联系上下文正确使用人称代词，不擅自添加原文中没有的代词。<|im_end|>\n<|im_start|>user\n" + query + "<|im_end|>\n<|im_start|>assistant\n"

• 推理与解码参数：

如出现退化，可增加frequency_penalty参数，并设置为大于0的某值，一般设置0.05~0.2即可。

模型微调框架参考BELLE或LLaMA-Factory，prompt构造参考推理部分。

• CjangCjengh

• ryank231231

• KurikoMoe

• FishHawk

• K024

• minaduki-sora

• Kimagure7

• YYF233333

v0.8版本模型的使用须遵守Apache 2.0和《Baichuan 2 模型社区许可协议》。

v0.9版本模型的使用须遵守Qwen模型许可协议。