ernie_pyreader数据维度和padding方式不一致 about paddlenlp HOT 6 CLOSED

max_seq_len指的是seq最大长度为max_seq_len。假如max_seq_len=256：
在padding的时候，如果一个batch内样本最大长度为300，则所有样本会截取padding到256；
如果一个batch内样本最大长度为200，则所有样本会padding到200。

max_seq_len只是限制最大seq_len，当batch内样本长 < max_seq_len 则按照样本最大长度，否则就截取到max_seq_len。
ernie_pyreader读取不同batch时支持seq_len变化，不会有影响。

from paddlenlp.

max_seq_len指的是seq最大长度为max_seq_len。假如max_seq_len=256：
在padding的时候，如果一个batch内样本最大长度为300，则所有样本会截取padding到256；
如果一个batch内样本最大长度为200，则所有样本会padding到200。

max_seq_len只是限制最大seq_len，当batch内样本长 < max_seq_len 则按照样本最大长度，否则就截取到max_seq_len。
ernie_pyreader读取不同batch时支持seq_len变化，不会有影响。

def ernie_pyreader(args, pyreader_name):
"""define standard ernie pyreader"""
src_ids = fluid.data(
name='1', shape=[-1, args.max_seq_len, 1], dtype='int64')
sent_ids = fluid.data(
name='2', shape=[-1, args.max_seq_len, 1], dtype='int64')
pos_ids = fluid.data(
name='3', shape=[-1, args.max_seq_len, 1], dtype='int64')
input_mask = fluid.data(
name='4', shape=[-1, args.max_seq_len, 1], dtype='float32')

ernie_pyreader里要求数据seq_len为args.max_seq_len

from paddlenlp.

这个不影响pyreader对数据的读入和后面网络的运行，运行时会根据真实的shape来跑

from paddlenlp.

这个不影响pyreader对数据的读入和后面网络的运行，运行时会根据真实的shape来跑

Error Message Summary:

InvalidArgumentError: The fed Variable src_ids should have dimensions = 3, shape = [-1, 256, 1], but received fed shape [4, 191, 1]

运行报这个错了

from paddlenlp.

参考一下这个PR PaddlePaddle/models#4790

from paddlenlp.

PaddlePaddle/models#4790 解决了这个问题，应该可以关闭当前 issue？

from paddlenlp.