BERT baseline方法疑问 about spellgcn HOT 33 OPEN

我看了论文，复现了[使用embedding table进行点乘]的方式，效果和论文中报告的差不多

from spellgcn.

最后一层输出直接加一个线性变换的效果就不太好

from spellgcn.

@zhiyumeng
您好，想问一下，用作者提供的代码，加上Wang et al. 2018的伪数据，可以直接复现paper中的结果么？我这边跑出来的结果比paper中BERT的结果还要差一些……

from spellgcn.

@Jason3900 用spell gcn作者提供的大小为281k的数据训练才行

from spellgcn.

@zhiyumeng 感谢解答！
我用了那个数据，但是效果确实比之前的方法好，但是比作者paper中提到的BERT的baseline要差，所以……想问的是，作者提供的代码需要改动么？还是说需要像作者说的那样，跑四次，然后取平均才能达到类似的效果？

from spellgcn.

BERT baseline是在最后一层输出直接加一个线性变换吗？
还是使用GCN的方法类似，使用embedding table进行点乘？

谢谢解答。

不知道作者是怎么做的，我是动态使用embedding table进行点乘

from spellgcn.

@zhiyumeng 感谢解答！
我用了那个数据，但是效果确实比之前的方法好，但是比作者paper中提到的BERT的baseline要差，所以……想问的是，作者提供的代码需要改动么？还是说需要像作者说的那样，跑四次，然后取平均才能达到类似的效果？

主要看sighan15的结果吧，我感觉和论文中差距不大，虽然数据集很好

from spellgcn.

@zhiyumeng 感谢解答！
我用了那个数据，但是效果确实比之前的方法好，但是比作者paper中提到的BERT的baseline要差，所以……想问的是，作者提供的代码需要改动么？还是说需要像作者说的那样，跑四次，然后取平均才能达到类似的效果？

主要看sighan15的结果吧，我感觉和论文中差距不大，虽然数据集很好

基本上是稳定出结果的，sighan15。

from spellgcn.

@zhiyumeng
您好，想问一下，用作者提供的代码，加上Wang et al. 2018的伪数据，可以直接复现paper中的结果么？我这边跑出来的结果比paper中BERT的结果还要差一些……

@Jason3900 用spell gcn作者提供的大小为281k的数据训练才行

您好，这个git里面好像没有提供完整的数据训练集是么，请问您是怎么处理的，如果方便的话，可以分享一下完整的训练集么

from spellgcn.

@zhiyumeng 感谢解答！
我用了那个数据，但是效果确实比之前的方法好，但是比作者paper中提到的BERT的baseline要差，所以……想问的是，作者提供的代码需要改动么？还是说需要像作者说的那样，跑四次，然后取平均才能达到类似的效果？

您好，这个git里面好像没有提供完整的数据训练集是么，请问您是怎么处理的，如果方便的话，可以分享一下完整的训练集么

from spellgcn.

@zhiyumeng 感谢解答！
我用了那个数据，但是效果确实比之前的方法好，但是比作者paper中提到的BERT的baseline要差，所以……想问的是，作者提供的代码需要改动么？还是说需要像作者说的那样，跑四次，然后取平均才能达到类似的效果？

您好，这个git里面好像没有提供完整的数据训练集是么，请问您是怎么处理的，如果方便的话，可以分享一下完整的训练集么

根据作者引用的文章去下载就行了

from spellgcn.

@zhiyumeng 感谢解答！
我用了那个数据，但是效果确实比之前的方法好，但是比作者paper中提到的BERT的baseline要差，所以……想问的是，作者提供的代码需要改动么？还是说需要像作者说的那样，跑四次，然后取平均才能达到类似的效果？

您好，这个git里面好像没有提供完整的数据训练集是么，请问您是怎么处理的，如果方便的话，可以分享一下完整的训练集么

根据作者引用的文章去下载就行了

您好，现在我这边的实验复现结果和论文有点出入，有些相关的问题可以请教一下么，我给您发了邮件。

from spellgcn.

我复现的BERT和论文中也有差距，你们最后解决这个问题了吗@Sh1k17@zhiyumeng

from spellgcn.

from spellgcn.

@zhiyumeng 我只实验了character-level correction的结果，Recall和论文中差不多，但是Precision差的很多

from spellgcn.

from spellgcn.

from spellgcn.

@bxx1024 您好，请问是直接用 271k 数据集跑作者提供的代码就可以达到和论文中差不多的结果吗？我这边把 batch size 减小一半在 13 和 15 数据集上 F1 都只有 0.6 左右

from spellgcn.

@zhanqiuzhang， 271k 和sighan训练数据一起跑可以达到论文中的效果，我在15年的测试数据上，correction-level和character-level的结果是'P':'93.33%','R':'82.60%','F1':'87.64%'

from spellgcn.

from spellgcn.

@zhanqiuzhang， 271k 和sighan训练数据一起跑可以达到论文中的效果，我在15年的测试数据上，correction-level和character-level的结果是'P':'93.33%','R':'82.60%','F1':'87.64%'

你好，请问这个结果是用这个 repo 的默认参数跑的吗？我把 batch size 减半为16之后在 sentence level，SIGHAN15上的测试结果大概比原论文低5个点左右。

from spellgcn.

在token detection level，我复现的结果有差距。在13数据集上，单独在13上fintune可以提升效果。
…
________________________________ 发件人: Xuxiao Bu [email protected] 发送时间: 2020年10月14日 19:06 收件人: ACL2020SpellGCN/SpellGCN [email protected] 抄送: fyyc [email protected]; Mention [email protected] 主题: Re: [ACL2020SpellGCN/SpellGCN] BERT baseline方法疑问 (#8) 我复现的BERT与论文中也有出入，能共享吗 ― You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub<#8 (comment)>, or unsubscribehttps://github.com/notifications/unsubscribe-auth/AFRSKHLKDSLIZ744U277ONDSKZKKPANCNFSM4ONFFRHQ.

能否告诉下，在13数据集上如何finetune的？不会用13的测试集吧？

from spellgcn.

我的baseline在sentence level F1差了大概2个点😵

from spellgcn.

from spellgcn.

sighan15上模型调到correction f1大概还差一个百分点，sighan14数据集结果差不多，但是sighan13数据集差大概三个百分点......😢

from spellgcn.

sighan15上模型调到correction f1大概还差一个百分点，sighan14数据集结果差不多，但是sighan13数据集差大概三个百分点......😢

sighan15上模型调到correction f1大概还差一个百分点，sighan14数据集结果差不多，但是sighan13数据集差大概三个百分点......😢

另外，token level的结果差距还挺大

from spellgcn.

分析了一下错误案例，发现数据集有些标记错误，需要修正吗？

from spellgcn.

sighan15上模型调到correction f1大概还差一个百分点，sighan14数据集结果差不多，但是sighan13数据集差大概三个百分点......😢

你好，我复现出来recall在每个数据集上都低十几个百分点，想问下你的参数是按照源码的参数嘛，还有你的数据是27.1k数据改了格式直接加到原来的TrainingTruthAll.txt和TrainingInputAll.txt嘛，谢谢啦

from spellgcn.

分析了一下错误案例，发现数据集有些标记错误，需要修正吗？

我也是发现原来给的测试集有的字没错但也改正了，可能影响了一些召回率吧

from spellgcn.

from spellgcn.

from spellgcn.

我用了27.1k的数据，没有改数据格式，低十几个百分点我估计是数据集的原因，在没有用大数据集的情况下我也是低十几个百分点。 在 2021-11-11 20:56:02，"hhhmmmzzz" @.***> 写道： sighan15上模型调到correction f1大概还差一个百分点，sighan14数据集结果差不多，但是sighan13数据集差大概三个百分点...... 你好，我复现出来recall在每个数据集上都低十几个百分点，想问下你的参数是按照源码的参数嘛，还有你的数据是27.1k数据改了格式直接加到原来的TrainingTruthAll.txt和TrainingInputAll.txt嘛，谢谢啦 — You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe. Triage notifications on the go with GitHub Mobile for iOS or Android.

那就是还想问下27.1k数据集你用的是model\data\sighan里面的train.sgml还是model\data\train里面的train.sgml呀，我感觉这两个数据集还是有一些标点符号之类的不太一样，非常感谢啦

from spellgcn.

from spellgcn.