你好，我想问一下linears.py里面的poolerstartlogits是什么用？ about daguan_2019_rank9 HOT 8 OPEN

用的是logits，维度是num_labels大小，concat操作，所以加上num_labels个数 在 2020-03-31 16:31:22，"heroazhe" <[email protected]> 写道： endlogits里面的soft_label为啥要加上num_label？ — You are receiving this because you are subscribed to this thread. Reply to this email directly, view it on GitHub, or unsubscribe.

哦哦，代码我知道啥意思，但不知道原理，从网上没有搜到具体的原理，只知道这好像跟qa中的span有关系，了解start_logits和end_logits的计算方法我该怎么查？

额，还是有点似懂非懂。&nbsp; 还有一个疑问是training的时候，有一句是如果为softlabel，则start_logits.scatter_(2, start_point.unsqueeze(2), 1) 这句话的意思应该是把对应的label位置标成1吧，这样的话其他的label还是为0，不还是hard label吗？ ------------------&nbsp;原始邮件&nbsp;------------------ 发件人:&nbsp;"lonePatient"<[email protected]&gt;; 发送时间:&nbsp;2020年3月31日(星期二) 晚上6:00 收件人:&nbsp;"lonePatient/daguan_2019_rank9"<[email protected]&gt;; 抄送:&nbsp;"FTD'2015"<[email protected]&gt;;"Mention"<[email protected]&gt;; 主题:&nbsp;Re: [lonePatient/daguan_2019_rank9] 你好，我想问一下linears.py里面的poolerstartlogits是什么用？ (#7) @heroazhe 很简单的一个想法啊，结束位置依赖于开始位置，很自然的将开始位置信息与文本语义向量结合作为结束预测的输入，那相当于有两种方式，直接hard label即argmax(logits),这种的话train时候hard label是真实的，但是预测的时候是argmax的，不一定正确，这个就像seq2seq里面的“Exposure @bias”（好像那么一回事，呵呵瞎哔哔的），那么就可以使用soft label，即softmax预测的logits，这样train和test是同步的，当然可以折中，抽样，加一个概率判断是使用hard还是soft。 — You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub, or unsubscribe.

还有那个output[0]的size是batch_size*seq_len*num_labels吧？&nbsp; 我现在看了一个类似你这个的pytorch的代码，他里面是这么写的 def forward(self, input_ids, token_type_ids=None, attention_mask=None, start_positions=None,end_positions=None): outputs = self.bert(input_ids, token_type_ids, attention_mask) sequence_output = outputs[0] # batch * seq * hidden sequence_output = self.dropout(sequence_output) start_logits = self.start_fc(sequence_output) # 开始的信息 if start_positions is not None and self.training: if self.soft_label: batch_size = input_ids.size(0) seq_len = input_ids.size(1) label_logits = torch.FloatTensor(batch_size, seq_len, self.num_labels) label_logits.zero_() label_logits = label_logits.to(input_ids.device) label_logits.scatter_(2, start_positions.unsqueeze(2), 1) # 按照start进行填充 start_position= batch_size*seq_len else: label_logits = start_positions.unsqueeze(2).float() else: label_logits = F.softmax(start_logits, -1) # batch_size * seq * num_labels if not self.soft_label: label_logits = torch.argmax(label_logits, -1).unsqueeze(2).float() end_logits = self.end_fc(sequence_output, label_logits) outputs = (start_logits, end_logits,) + outputs[2:]最后这个outputs是在干嘛？ &nbsp; &nbsp; outputs的长度不应该是2吗？ &nbsp; 越界了吧这都

我又看了下代码，这里所谓的softlabel是在计算end_logits的时候加入了label的上下文信息，在计算loss的时候,target并没有softmax，还是one-hot的。 &nbsp; 这种做法相当于加了一个crf吧，让模型学习到label的相关信息。&nbsp; soft label应该针对的是计算ce时的target而不是logits吧？