深層学習ライブラリのCPU推論速度比較

画像認識タスクにおいて、PyTorch, OpenCV, ONNXの推論速度比較を行います。 使用モデルは「densenet121」とします。

その他、以下は省きます

• FP16 (PyTorch - GPU推論のみ)
• TensorRT (GPU推論のみ)
• LibTorch
• OpenCV (GPU推論)
• OpenVINO

1. venvによって環境を構築

   python -m venv compareEnv
   

2. 環境を有効化

   // Windows
   .\compareEnv\Scripts\activate
   
   // Linux
   source compareEnv/bin/activate
   

3. ライブラリをダウンロード

   pip install -r requirements.txt
   

3回実行してその平均実行時間を結果としました。