文章 ID: 000057525 內容類型: 維護與效能 最近查看日期: 2023 年 01 月 31 日

為什麼 GPU 的型號載入時間超過 CPU?

環境

OpenVINO™工具組 GPU 外掛程式 CPU 外掛程式

BUILT IN - ARTICLE INTRO SECOND COMPONENT
摘要

改善 GPU 模型載入時間的快速步驟

描述

將輸入模型的中間表示 (IR) 載入到 GPU 需要的時間,比將相同的模型載入至 CPU 需要更長的時間。

解決方法

在應用程式的工作目錄中手動建立cl_cache目錄。

驅動程式會使用此目錄儲存編譯的核心的二進位陳述。這將適用于所有支援的作業系統。

額外資訊

如需管理cl_cache的詳細資訊,請參閱本文  

以中間表示 (IR) 格式將您的輸入模型載入至 GPU 需要的時間比將相同的型號載入至 CPU 需要更長的時間,因為 GPU 堆疊是以 OpenCL* 為基礎。載入時間取決於 OpenCL* 核心的編譯時間。

當您啟用 cl_cache時,第一次載入模型仍需要很長的時間,因為 OpenCL* 核心會編譯。然而,同一型號之後的每一次載入速度都會快上許多。

相關產品

本文章適用於 2 產品

這個頁面的內容綜合了英文原始內容的人工翻譯譯文與機器翻譯譯文。本內容是基於一般資訊目的,方便您參考而提供,不應視同完整或準確的內容。如果這個頁面的英文版與譯文之間發生任何牴觸,將受英文版規範及管轄。 查看這個頁面的英文版。