為什麼對模型施加不同權重會影響推論效能？
內容類型: 疑難排解 | 文章 ID: 000088030 | 最近查看日期: 2026 year 03 month 09 day
觀察到在運行相同模型架構且權重檔案不同時，推論吞吐量不同。雖然模型結構相同，但推論效能會因權重、精度及所用表示方式而有顯著差異。
模型權重與精度（FP32、FP16、INT8）會影響推論效能。
使用 FP32 格式則能實現重量的完全分布，稱為單精度浮點運算器。
同時，FP16 和 INT8 格式都是壓縮重量格式，尺寸被壓縮縮小。這些壓縮的代價是模型的準確度，也就是量化誤差。
分配給資料的位元越多，能代表的範圍越廣，模型的準確度也有可能越高。然而，較大的資料需要更大的記憶體空間作為儲存空間，傳輸時所需的記憶體頻寬也更高，且會消耗更多運算資源和時間。
Intel® 發行版的 OpenVINO™ 工具包 基準測試結果 顯示，不同權重格式或精度在效能上明顯存在差異。