EVA2.0论文相关 about eva HOT 7 CLOSED

预训练数据相关问题见#27

from eva.

@t1101675 你好，针对小说数据部分，请教几个问题，期待你们的解答：
1.paper中提到对话数据部分来源通用题材的小说，请问主要具体用了哪些题材的？以及小说的对话数据提取出后怎样构造语料的？2.如果进一步采用其他题材小说数据，比如言情/玄幻等，那么闲聊效果会有风格化特点吗？还是需要用GAN系列做风格变换？

from eva.

在EVA2.0上使用kdconv数据进行多卡finetune，参数都是默认，在测试集上loss=4.1119，和你们结果loss=2.09差别有点大
我看默认finetune进行3轮epoch会不会太少了? @t1101675

from eva.

请问训练集和验证集上的结果分别是多少呢？可以检查一下训练出的模型能否正常生成回复。另外，我们使用了8张V100进行 fine-tune，如果您用的卡比我们少，可能会导致 batch size 偏小，因此可能要增加 batch size 或者增加训练 epoch

from eva.

我是在4*V100上finetune,我正在提高batch size和epochs重新finetune

from eva.

请问EVA2.0支持prompt范式吗？设定background和给定sample,让模型prompt learning？ @xwwwwww @t1101675

from eva.

不支持

from eva.