关于模型初始化和超参数 about ttt HOT 9 CLOSED

看下bert的实现代码吧，看了就知道这些参数信息了，虽然本人也还没认真看过bert的源码。

from ttt.

看下bert的实现代码吧，看了就知道这些参数信息了，虽然本人也还没认真看过bert的源码。

你好请问这个模型有成功运行吗？ 求一下运行方法

from ttt.

from ttt.

您好，您在下面的代码模块儿做了哪些处理呢，可以举个例子吗
bert_ckpt= torch.load(args.bert_path)
bert_args = bert_ckpt['args']

from ttt.

您好，您在下面的代码模块儿做了哪些处理呢，可以举个例子吗
bert_ckpt= torch.load(args.bert_path)
bert_args = bert_ckpt['args']

@lixumin-zai

from ttt.

在main.py文件里开始训练的时候需要加载模型，模型内容包括了训练时的参数'args'，但是初次训练的话并没有这个参数，请问该如何获得？

bert_ckpt= torch.load(args.bert_path)
bert_args = bert_ckpt['args']

而且，在加载模型的时候需要bert_args.embed_dim这些参数，代码里也没有找到，想问一下是否能够开源一个已经训练好的模型？

bert_model = BERTLM(device, bert_vocab, bert_args.embed_dim, bert_args.ff_embed_dim, bert_args.num_heads, \
                                     bert_args.dropout, bert_args.layers, bert_args.approx)

另外，模型训练的超参数是和train.sh里一致的吗？

您好，您这块儿运行起来了吗？如果运行起来是否可以分享下这块儿的修改代码

from ttt.

@fujunying2018 没跑起来，最近也没看了，上边有人说成功了，我给你@了

from ttt.

好的，谢谢

from ttt.

Will release it before 31 Dec.

from ttt.