「【Pytorch】 Transformerを用いた時系列予測」（https://qiita.com/apple-pie/items/7c046f1c0da60e8a4ff8 ）に使用したコードです。 seq2seq.ipynbをダウンロードしてgoogle colabなどで実行するのみで予測を行うことができます。

自然言語処理や音声処理でよく用いられるTransformerを時系列予測に応用しました。モデルの概略図は以下のようになります。

seabornの中にあるair passengersというデータを用いて、このTransformerによる予測を行いました。 訓練用、評価用、テスト用データを以下のように分け、訓練用データで訓練し、評価用データで最も良いで精度を達成したモデルを最も良いモデルとして、テスト用データの予測を行いました。

大体は予測できていますが、細かい部分が予測できていません。パラメータなどを調整したりすれば改善するかもしれません。 時間のある方は試してみてください。