恳请大佬大神们赐教：如何使用自己的数据集训练MRC？ about paddlenlp HOT 4 CLOSED

你可以在这里找到Dureader robust的数据集代码
https://github.com/PaddlePaddle/models/blob/release/2.0-beta/PaddleNLP/paddlenlp/datasets/squad.py
你应该需要继承Dureader robust数据集并且重写_read()方法，按照你的数据文件格式读入，最后也返回SquadExample就可以，没有qas_id的话可以在读入数据的时候加一个简单的递增的id。但是要训练的话只有问句和文本可能不够吧，还得有答案。

from paddlenlp.

你可以在这里找到Dureader robust的数据集代码
https://github.com/PaddlePaddle/models/blob/release/2.0-beta/PaddleNLP/paddlenlp/datasets/squad.py
你应该需要继承Dureader robust数据集并且重写_read()方法，按照你的数据文件格式读入，最后也返回SquadExample就可以，没有qas_id的话可以在读入数据的时候加一个简单的递增的id。但是要训练的话只有问句和文本可能不够吧，还得有答案。

您好，谢谢~ 目前我把自己的数据（问句，文本，答案）改成了源数据的格式并进行了替换，其中id是0到len（data）的一个数字递增，squad.py中更改了md5码。这样应该也可行吧~

from paddlenlp.

可以的，而且你如果是使用本地数据集用--data_path传入的话可以不用管md5.

from paddlenlp.

已解决，如使用自己的数据，可以将数据输入默认路径，但是需要在squad.py中改一下md5码（因为代码会核对md5，若不对应则会自动下载自带的原始数据。）；指定--data_path路径也是如此。

from paddlenlp.