关于evaluate中的etype参数 about mac-sql HOT 6 OPEN

因为如果参数为 all ，即使无法执行，SQL层面上match也算对；而exec必须保证SQL能执行且执行结果和Gold完全一致才行，条件比all苛刻，所以会低2个点。

from mac-sql.

from mac-sql.

感谢您的回复，这对我非常重要。请问MAC中的实验结果使用的是all还是exec呢？NL2SQL普遍使用的是哪种呢？
并且我调用的公司聊天GPT4O（带有上下文可能会对实验结果产生影响），复现了MAC-SQL发现在SPIDER上，EM分数较低（20左右），这是否和您当时得到的实验结果一致？如果一致的话，您知道其中的原因是什么吗？

from mac-sql.

MAC-SQL 用的exec，这点可以从代码脚本中看到。NL2SQL普遍采用 exec，因为随着大模型出现，EM指标显得很鸡肋，无法反映出模型的真实能力，因为SQL的写法有很多，只要答案对了即可，而EM指标要求写法完全按照Gold的来，很显然这不合理。MAC-SQL在EM较低是正常的，现在大模型方案在EM上都低，所以现在NL2SQL论文都已经摈弃EM指标了，都用的EX指标。

from mac-sql.

FlyingFeather/DEA-SQL#1 (comment)
你知道DEA-SQL这篇论文吗，这个问题中提到您之前提交的代码好像和现在不同。

from mac-sql.

Spider数据集上是有点调整，你可以用现在的版本。

from mac-sql.