关于results of ablation study about pfn HOT 5 CLOSED

您好，我来回答一下您的问题

1. 是单轮的训练结果。全部实验都是random seed = 0，因为encoding scheme比较重要，所以我在webnlg上也是做过测试的，sequential和parallel大概比joint低个0.5-1.5点左右。SciERC结果不稳定，想能问下浮动能大到多少呢？浮动大的原因可能是超参没有怎么调，可以试试一些稳定训练的trick，比如说warmup等。
2. entity extraction确实会出现您说的这种情况，这部分可能是RE部分没有cover实体尾部的结果，可以试试PFN-nested。
3. 这个没有做过。因为没有partition，也就得不到三个分区了，这样的话也就不知道是对哪个部分进行filter了。

from pfn.

1. 我使用了您的代码，重新运行了在seed = [0,1,2,3,4]的情况。NER的结果在65.67-68.59，RE的结果在36.23到37.86。方差还是比较大的。
2. 如果方便的话，请问您是否可以在ablation study添加上entity extraction的结果呢？看到您的代码是同时输出NER和RE两个结果的。

非常感谢您的回答。希望您科研顺利。

from pfn.

RE结果和我这差的有点多。我跑了下1,2,3,4的seed，NER的结果是66.9, 66.4, 68.0, 67.7， RE的结果是36.9, 36.3, 38.9, 37.7。我在readme上更新了cuda版本要求，貌似这个也是会有影响的。

ablation我这里只存了sequential和parallel，sequential是68.7, parallel是67.0，scierc上确实波动很大，这部分我觉得可能是因为训练数据集本身的原因导致的。webnlg上NER sequential和parallel比joint差个0.3-0.5左右。

由于论文是最终稿，emnlp不让改了，所以可能没法添加结果。希望上边几个数值对您有用。

from pfn.

好的，谢谢您的回复。论文中的内容虽然无法额外变动，但是希望能够在github项目的readme上更新实验结果。同时建议您的ablation study能够在5-10个random seed上取NER和RE的平均结果和方差。单次的RE结果恐怕不能够使得您论文中ablation study的结论令人信服。

from pfn.

嗯，谢谢您的建议，ablation的多次结果之后会考虑加上的。

from pfn.