预训练BERT-Pair中数据的获取 about gear HOT 5 CLOSED

您好，如论文中所写，对于数据集中的SUPPORTED和REFUTED样例，我们使用标注数据，将每一个标注的证据和声明组成样本进行训练；对于NOTENOUGHINFO样例，我们使用证据抽取系统中抽取得到的句子和声明组成样本。

from gear.

你好，BERT-Pair中的FEVER_Full文件下的bert-nli-dev.tsv和根据您提供的dev.ensembles.s10.jsonl文件通过查询数据得到的bert-nli-dev-retrieve-set.tsv文件是一样的，都是98785条数据，可是bert-nli-train.tsv文件中是440614条数据，而根据您提供的train.ensembles.s10.jsonl文件查询数据库得到bert-nli-train-retrieve-set.tsv是721754条数据，由FEVER提供的train.jsonl查询数据库得到bert-nli-train-sr-set.tsv是263822条数据，所以就没太明白预训练这里的bert-nli-train.tsv440614条数据怎么得到的？是我忽略了什么了吗？还请给与解答。谢谢。

from gear.

对于train数据来说，我们使用标注数据作为“支持”和“反对”的训练样本，使用抽取得到的证据作为“信息不足”的训练样本。所以这个44万的数字应该是bert-nli-train-sr-set中26万样本（即“支持”和“反对”样本的数据）加上bert-nli-train-retrieve-set中对应的“信息不足”声明的证据数。
对于dev数据来说，因为在测试过程中我们不能知道每个样本的实际标签，所以我们只能使用所有的抽取得到的证据进行声明的分类，所以这个数据量是对于所有的样本都使用抽取得到的证据，也即bert-nli-dev和bert-nli-dev-retrieve-set的个数是一样的。

from gear.

使用训练集来训练也可以完全按照全部声明都使用抽取的证据进行训练，即使用72万条数据进行训练，但是对于“支持”和“反对”样本来说，抽取的证据肯定会包含一定的噪音，人工标注的数据也不一定完全能够被抽取出来，所以我们这里只是用了人工标注的证据来进行训练。

from gear.

好的，谢谢，明白了。

from gear.