软label about cail2019 HOT 2 CLOSED

我们当时做这个的目的是把三元组形式的标记转换成二元组的标记，以加速训练效率。
我们的目标是给出所有成对出现在训练集里的样本 i 和样本 j 的相似度 y_ij，并且 y_ij 需要满足：

• y_ij 在0~1之间
• y_ij 和 y_ik 需要满足原始训练集样本 i, j, k 组成的三元组指出的相似性关系，即y_ij >y_ik

只用以上条件作为约束求解y_ij ，得到的优化问题比较困难，为了让这个优化问题容易求解，我们又加了一个约束条件：

• y_ij 和未作fine-tuning的bert模型输出的样本 i, j 的相似度的 l2 距离尽可能小

这么做的想法是希望让得到的软标记 y_ij 对bert模型来说更加容易学习。
我们把以上约束条件加权转为无约束优化问题然后用l-bfgs算法求解，这样就估计出了样本i和样本j的相似度 。

from cail2019.

非常感谢大神的解惑

from cail2019.