想问问这是不是严格意义的GPT模型，个人感觉更像是类似于UniLM的Seq2Seq about gpt2-newstitle HOT 2 CLOSED

1、GPT2模型本身就只有transforme的解码器部分。
2、在模型训练时只计算了标题的loss，你可以理解为在进行fine-tuning，训练一个文档生成标题的下游任务，而不是原始的语言模型任务。
3、unilm和gpt2进行生成的本质区别是，unilm在内容编码部分是双向的，标题生成部分相当于预测被掩掉的[mask]，gpt2在内容编码部分是单向的，标题生成部分就是逐字预测。我并不认同你说的gpt2“不太适合实现标题生成”。
从效果上来看，我这边做过unilm和gpt2的对比，差不多。

from gpt2-newstitle.

1、GPT2模型本身就只有transforme的解码器部分。
2、在模型训练时只计算了标题的loss，你可以理解为在进行fine-tuning，训练一个文档生成标题的下游任务，而不是原始的语言模型任务。
3、unilm和gpt2进行生成的本质区别是，unilm在内容编码部分是双向的，标题生成部分相当于预测被掩掉的[mask]，gpt2在内容编码部分是单向的，标题生成部分就是逐字预测。我并不认同你说的gpt2“不太适合实现标题生成”。
从效果上来看，我这边做过unilm和gpt2的对比，差不多。

感谢，我的问题应该是没理清预训练和微调阶段 ，GPT预训练阶段是用语言模型的模式，但不代表微调阶段就不能用seq2seq的方式

from gpt2-newstitle.