跳到主要內容
支援知識庫

無法在 GPU 上執行 ONNX 型號Benchmark_app

內容類型: 疑難排解   |   文章 ID: 000095644   |   最近查看日期: 2023 年 07 月 24 日
描述 解決方法 額外資訊

環境

OpenVINO 2023.0

描述

  • 在 CPU 和 GPU 上推斷出採用 OpenVINO™ 2023.0 Benchmark_app的 ONNX 模型。
  • CPU 推斷成功，但在 GPU 上失敗。

解決方法

目前，GPU 的動態形狀支援是預覽功能，具有下列限制：

  • 它主要支援自然語言處理 （NLP） 模型。並非所有作業與優化都能通過並支援動態形狀。因此，特定模型可能會發生碰撞或效能顯著下降。
  • 由於主機裝置的執行時間負荷占主導地位，在獨立 GPU 上，動態形狀的效能可能比靜態形狀差。
  • 不支援動態等級。

額外資訊

如需詳細資訊，請參閱 GPU 裝置 。

相關產品

本文章適用 3 產品。
Intel® Xeon Phi™ 處理器軟體 OpenVINO™ 工具套件 效能程式庫

免責聲明

此頁面上的內容是原始英文內容的人工和電腦翻譯的組合。此內容僅供您方便，僅供一般參考，不應被視為完整或準確。如果本頁面的英文版本與翻譯之間存在任何矛盾，則以英文版本為準。 查看此頁面的英文版本。

需要更多協助嗎？

聯絡支援部門
聯絡支援部門