摘要
使用不同資料和重量格式的折價
描述
- 產生兩個 IR 檔案（相同的 .xml 檔案， 但不同 .bin 檔案）
- 不同重量的類似模型以不同的 fps （27fps 和 6fps） 執行
- 更多樣化的權重是否會影響 Myriad X 上的推斷效能？
解決方法
模型重量與精確度 （FP32、FP16、INT8） 會影響推斷效能。
使用 FP32 格式會導致重量的完整分配，並稱為單一精確浮點。
同時，FP16 與 INT8 格式均為壓縮重量格式，壓縮尺寸較小。這些壓縮的利器是模型的準確性，或也稱為量化錯誤。
為代表資料而配置的位越多，它們所能代表的範圍就越廣，而且可能代表模型的準確性越高。然而，更大的資料需要更大的記憶體空間來儲存，需要更高的記憶體頻寬才能四處傳輸，以及更多的運算資源和時間被用完。
Intel® 發行版 OpenVINO™ 工具組 效能標竿結果 顯示不同重量格式或精確度之間的效能明顯差異。