khirotaka / typhoon Goto Github PK

View Code? Open in Web Editor NEW

1.0 2.0 0.0 74 KB

Transformer based neural network model for time series tasks.

License: Apache License 2.0

Python 99.28% Dockerfile 0.72%

typhoon's Introduction

Typhoon

Transformer based neural network model for time series tasks.

Structure

.
├── Dockerfile
├── LICENSE
├── Pipfile
├── Pipfile.lock
├── README.md
├── docker-compose.yml
│
├── Typhoon
│   ├── __init__.py
│   ├── core
│   │   ├── __init__.py
│   │   ├── model.py
│   │   └── modules.py
│   │
│   └── utils
│       ├── __init__.py
│       ├── dataset.py
│       ├── functions.py
│       └── trainer.py
│
└── experiments
    ├── README.md
    ├── check.py
    ├── train_har.py
    └── train_mhealth.py

utils/ ... This directory contain training script and sub functions.

System Requirements

OS: Unix-like
- macOS Mojave 10.14.6
- Debian 9.9 (GCP Deep Learning Image: PyTorch 1.1.0 and fastai m32)
- Ubuntu 16.04 or Ubuntu 18.04
Python 3.5 or later
PyTorch 1.1.0
(optional) NVIDIA GPU

References

typhoon's People

Contributors

Stargazers

Watchers

typhoon's Issues

Google Analytics予測

公開されているGAのデータを使ってなんらかの予測。

TransformerのEncoder-Docoderモデルがいいのか、Encoderで特徴抽出して、全結合層で数ステップ先を予測する方がいいのか…

部分時系列によるEmbedding

[batch, seq_len, features]で構成されるデータから一定ウィンドウで部分データを抽出、そこからnn.Linear に与えてベクトルを生成する。

for epoch in range(num_epochs):
    for data, target in data_loader:
        # data.shape == [batch, seq_len, features]
        sub_data = data[:, window_start:window_end, :]
        
        out = nn.Linear(sub_data) # [batch, sub_seq_len, emb_dim, features]

異常検知アイデア

Encoder-Decoderモデルで学習させ、Encoder or DecoderのAttention Weightを元に比較する案

self.model.eval()

修正箇所
self.model.eval() を忘れてる

https://github.com/KawashimaHirotaka/Typhoon/blob/9ed2826ae21a6a6caaafdab501456daec9dc3d1a/utils/trainer.py#L302-L320

Network構造についてのアイディア

前提

入力が [batch, seq_len, features] として features が複数。つまりセンサーがたくさんあるとする。

Input Embedding

各 feature 毎に Embedding(みたいなもの)を行う。
具体的には、値を nn.Linear() に通してベクトルにする。

X, y = next(iter(train_loader))

X.shape # [batch, seq_len, features]

emb1 = nn.Linear(input_size, output_size)
emb2 = nn.Linear(input_size, output_size)
emb3 = nn.Linear(input_size, output_size)

...

embed_1 = [emb1(X[:, i, 0]) for i in range(X.shape[1])] # [batch, seq_len, output_size]
embed_2 = [emb2(X[:, i, 1]) for i in range(X.shape[1])]
embed_3 = [emb3(X[:, i, 2]) for i in range(X.shape[1])]
...

embed = torch.cat([embed_1, embed_2, ... ]) # [batch, seq_len, output_size, features]

作成した embed に Positional Encoding を行う。

PE = positional_encording()
input_tensor = embed + PE

各featureを別々に MultiHeadAttention に与える。

class Typhoon(nn.Module):
    def __init__(self):
        super(Typhoon, self).__init__()
        self.attentions = nn.ModuleList([
            MultiHeadAttentionANDFeedForward, 
            MultiHeadAttentionANDFeedForward,
            MultiHeadAttentionANDFeedForward,
            ...
        ])
        self.selector = MultiHeadAttention() # or Attention
        self.classification = ClassificationModule()
    
    def forward(self, x):
        output = self.attentio(x)
        output = torch.cat( ... ) # con cat したり色々
        output = self.selector(output)
        output = self.classification(output)
        return output