與 CPU 相比，在 GPU 上採用OpenVINO™效能標竿的推斷模型時，為什麼延遲與輸送量都比較高？

• 以 CPU 和 GPU 的OpenVINO™效能標竿推斷出相同的型號：
  benchmark_app.exe -m model.xml -d CPU
  benchmark_app.exe -m model.xml -d CPU
• 結果 GPU 上的延遲與輸送量高於 CPU。
• 無法確定為什麼 GPU 上的延遲與推斷輸送量都高於 CPU，因為低延遲會導致高輸送量。

如果同步推斷，延遲會測量處理單一輸入所需的推斷時間。

當以預設參數執行OpenVINO™效能標竿時，就是以非同步模式推斷。因此，結果延遲會測量處理推斷請求數量所需的總推斷時間。

此外，在具有預設參數的 CPU 上執行效能標竿應用程式時，會建立 4 個推斷要求，而如果在具有預設參數的 GPU 上執行效能標竿應用程式，則會建立 16 個推斷要求。因此，在 GPU 上推斷所產生的延遲高於 CPU。

在 CPU 和 GPU 上執行效能標竿應用程式以進行公平比較時，指定相同的推斷要求數量：
benchmark_app.exe -m model.xml -d CPU -nireq 4
benchmark_app.exe -m model.xml -d CPU -nireq 4