ghmagazine / vit_book Goto Github PK

先日Vision Transformer入門を購入させていただき、ch3/attention_rollout.pyのサンプルコードをREADMEの通りに実行したところ目的のattention weightを取得できずエラーが発生しました。以下エラーの詳細なデバッグになります。

Traceback (most recent call last):
File "/content/drive/MyDrive/ch3/attention_rollout.py", line 58, in
features = extract(model, target_module, x.to(device)) # shape: (1, H, N, N)
File "/content/drive/MyDrive/ch3/attention_rollout.py", line 33, in extract
return blocks
NameError: name 'blocks' is not defined

また57にてtarget_module=model.block[i].attn.attn_dropとなっている理由もわかりません。Dropout層の出力がattention weightになるという意図なのでしょうか、ご教示いただけますと幸いです。

384と設定されていますが、44ページまで読んでemb_dimがなぜ384なのかの根拠が分かりませんでした。どうやって決めるのが適切なのでしょうか?