文章 ID: 000058759 內容類型: 疑難排解 最近查看日期: 2022 年 09 月 06 日

將 INT8 模型轉換為中間表示 (IR)

BUILT IN - ARTICLE INTRO SECOND COMPONENT
摘要

具備OpenVINO的模型優化流程

描述

在《 低精度優化指南》的最後一段中,提到量化感知訓練。它表示這能讓使用者獲得可轉換為 IR 的精確優化模型。然而,沒有提供其他詳細資料。

解決方法

量化感知訓練使用OpenVINO™相容的訓練框架,支援在 TensorFlow QATPyTorch NNCF上編寫的模型,並提供優化延伸功能。

NNCF 是一個以 PyTorch 為基礎的架構,為各種使用案例支援各種深度學習模型。它還執行支援不同量化模式和設定的量化感知訓練,並支援多種壓縮演算法,包括量化、二進位化、垃圾處理和過濾修剪。

微調完成後,精確優化的模型可匯出至 ONNX 格式,模型優化程式則可使用該格式來產生中間表示 (IR) 檔案,隨後再推斷OpenVINO™推斷引擎。

相關產品

本文章適用於 2 產品

這個頁面的內容綜合了英文原始內容的人工翻譯譯文與機器翻譯譯文。本內容是基於一般資訊目的,方便您參考而提供,不應視同完整或準確的內容。如果這個頁面的英文版與譯文之間發生任何牴觸,將受英文版規範及管轄。 查看這個頁面的英文版。