文章 ID: 000089522 內容類型: 維護與效能 最近查看日期: 2023 年 11 月 20 日

與 CPU 相比,Intel® 類神經電腦棒 2 (Intel® NCS2) 的推論效能較慢

BUILT IN - ARTICLE INTRO SECOND COMPONENT
摘要

CPU 的運算能力比 Intel® NCS2 強,因此在推斷同一模型時,預計會跑得更快

描述
  • 用於Intel® Core™ i7處理器以 -m model.xml 運行 benchmark_app.py,並生成隨機輸入
  • NCS2 上的效能比 CPU 慢:

    對於 NCS2:
    [ INFO ] First inference took 33.88 ms
    [Step 11/11] Dumping statistics report
    Count: 2596 iterations
    Duration: 60141.63 ms
    Latency: 92.60 ms
    Throughput: 5525.09 FPS

    對於 CPU:
    [ INFO ] First inference took 17.07 ms
    [Step 11/11] Dumping statistics report
    Count: 148124 iterations
    Duration: 60001.79 ms
    Latency: 1.61 ms
    Throughput: 315988.43 FPS

解決方法

與Intel® NCS2相比,CPU的性能預計將更好,因為CPU具有更多的計算能力。

Intel® NCS2是一種加速器設備,在某些情況下會有所説明,尤其是在需要額外計算能力時。

此外,CPU 需要 FP32 模型格式,而Intel® NCS2需要 FP16 模型格式。FP16 可能存在量化誤差,因為它是從全精度模型中壓縮出來的,使其更小。這將影響準確性和性能。

效能是指模型在部署中的速度,有兩個關鍵指標:延遲和輸送量。

OpenVINO™,有兩種方法可以提高性能:

開發期間:訓練後優化工具 (POT)、神經網路壓縮框架 (NNCF)、模型優化器。

部署期間:調整推斷參數和優化模型執行。

可以將這兩種方法結合起來。

相關產品

本文章適用於 2 產品

這個頁面的內容綜合了英文原始內容的人工翻譯譯文與機器翻譯譯文。本內容是基於一般資訊目的,方便您參考而提供,不應視同完整或準確的內容。如果這個頁面的英文版與譯文之間發生任何牴觸,將受英文版規範及管轄。 查看這個頁面的英文版。