與Intel® 類神經電腦棒 2搭配異質外掛程式

文件

安裝與設定

000055368

2022 年 09 月 07 日

異質外掛程式 (HETERO) 可使用多個裝置,在一個網路上進行運算推斷。您可能想要在異質模式下執行網路,以便:

  • 利用加速器的威力,包括在加速器上計算網路最重的部分,並在 CPU 等退回裝置上執行不受支援的層。
  • 在一次推斷中,以更高的效率利用所有可用的硬體。

若要使用異質外掛程式,並使用OpenVINO效能標竿應用程式在Intel® 類神經電腦棒 2™上執行推斷,請按照下列步驟操作:

  1. 透過執行 inference_engine/samples 目錄中找到的 buildsamples.sh (適用于 Linux) 或 build_samples_msvc.bat (適用于 Windows) 建立 C++ 樣品。
  2. 使用benchmark_app,使用您想要使用的裝置測試並設定 Hetero 外掛程式。舉例來說,執行 -d HETERO:GPU,CPU 將優先考慮 GPU,而 CPU 則是退回裝置。

進一步瞭解 異質外掛程式與OpenVINO工具組