Giter Club home page Giter Club logo

classical-modern's Introduction

文言文(古文)- 现代文平行语料

一、语料简介

这是一个非常全的文言文(古文)- 现代文平行语料,基本涵盖了大部分经典古籍著作。从文学角度出发,本项目将所有古文原文整理至文件夹 古文原文 中,并对每本古籍,按篇章/章节进行划分与展示,正文部分存于各章节下的 text.txt 中,例如 论语/学而篇/text.txt孟子/梁惠王章句上/第一节/text.txt 。对于平行数据,本项目整理至文件夹 双语数据 中,这些双语数据是以句子级别为单位进行划分,本项目提供了原文、译文、双语三种数据格式,例如:论语/学而篇/source.txt论语/学而篇/target.txt论语/学而篇/bitext.txt 。注:所有数据均按行保留了古文原文的相对顺序,即数据非打乱。

本语料数据来源于互联网1,所爬取到的原始数据是篇章级对齐的双语数据,经过脚本进行分句、对齐,处理成了句子级别对齐的双语(平行)数据,共计 972467 句。核心对齐思路采用归一化编辑距离算法与长度比指标。

需要注意 双语数据 文件夹中古文数据量少于 古文原文 文件夹中的古文数据,这是因为数据来源中部分古文没有译文,也有部分古文的译文残缺,故 双语数据 文件夹中仅收录了包含双语句对的数据。

二、复现过程

本项目提供了本语料的处理过程及相关脚本,具体过程详见复现

三、统计信息

古文原文共包含327本书籍。双语数据共包含97本书籍,其中包含句子级别对齐句子共计 972467 个句对。详细统计信息可查看统计信息

四、声明

本语料数据均来自互联网。所有数据均注明了出处,可详见各书目下文件 数据来源.txt 。原始数据的最终解释权归相关数据来源方所有。

感谢为该语料库做出贡献的成员:谈修泽、罗应峰。

五、更新历史

v2.0 2023年3月 重新整理数据,保留更加详尽的原始数据信息,并注明出处

v1.0 2022年2月 数据的初始整理

classical-modern's People

Contributors

luoyingfeng8 avatar xiaotong avatar xiu-ze avatar

Recommend Projects

  • React photo React

    A declarative, efficient, and flexible JavaScript library for building user interfaces.

  • Vue.js photo Vue.js

    🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.

  • Typescript photo Typescript

    TypeScript is a superset of JavaScript that compiles to clean JavaScript output.

  • TensorFlow photo TensorFlow

    An Open Source Machine Learning Framework for Everyone

  • Django photo Django

    The Web framework for perfectionists with deadlines.

  • D3 photo D3

    Bring data to life with SVG, Canvas and HTML. 📊📈🎉

Recommend Topics

  • javascript

    JavaScript (JS) is a lightweight interpreted programming language with first-class functions.

  • web

    Some thing interesting about web. New door for the world.

  • server

    A server is a program made to process requests and deliver data to clients.

  • Machine learning

    Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.

  • Game

    Some thing interesting about game, make everyone happy.

Recommend Org

  • Facebook photo Facebook

    We are working to build community through open source technology. NB: members must have two-factor auth.

  • Microsoft photo Microsoft

    Open source projects and samples from Microsoft.

  • Google photo Google

    Google ❤️ Open Source for everyone.

  • D3 photo D3

    Data-Driven Documents codes.