OpenVINO™工具組轉換與推斷 Detectron2* 和 Layout-LM* 模型的步驟

無法確定如何將 Detectron2* 和 Layout-LM* 模型轉換為OpenVINO™中間表示 （IR） 和推斷 CPU 外掛程式。

若要轉換 Detectron2 模型， 請按照 Colab 教程 訓練並推斷具有 PyTorch* 的 Detectron2* 模型，並 遵循 以下步驟將模型轉換為 ONNX* 格式，然後轉換為 IR 格式。

1. 將 Detectron2* PyTorch* 模型匯出至 ONNX* 格式，參照官方的 Detectron2，使用具有追蹤功能的export_model.py 共同實驗室 2教學。

   $python export_model.py --config-file ./output.yaml --sample-image./new.jpg --輸出./model/ --匯出方法追蹤 --format onnx MODEL。WEIGHTS./輸出/model_final.pth MODEL。DEVICE cpu

2. 針對output.yaml，請在Colab 教學中新增以下行來建立組態檔案：

   列印 （cfg.dump （））
   以 open （「輸出.yaml」，「w」） 為 f：
   f.write （cfg.dump（））

3. 安裝 透過OpenVINO*：

   $點安裝 openvino-dev

4. 轉換 ONNX* 模型到中間表示 （IR）：

   $mo --input_model ./model/model.onnx

5. 以OpenVINO執行benchmark_app 推斷：

   使用 ONNX* 型號：
   $benchmark_app -m model.onnx -d CPU -niter 100 -api async -insight 輸送量
   $benchmark_app -m model.onnx -d CPU -niter 100 -api async -提示延遲

   使用 IR 型號：
   $benchmark_app -m model.xml -d CPU -niter 100 -api async -insight 輸送量
   $benchmark_app -m model.xml -d CPU -niter 100 -api async -提示延遲

轉換 Layout-LM 模型。 請按照 下列步驟轉換 Layout-LM 模型，並以OpenVINO™推斷。

1. Convert PyTorch* 型號至 ONNX* 型號格式：

   $點安裝變壓器[onnx]
   $python3 -m 變壓器.onnx --model=microsoft/layoutlm-base-uncased onnx

2. 安裝 透過OpenVINO*：

   $點安裝 openvino-dev

3. 轉換 ONNX* 模型到中間表示 （IR）：

   $mo --input_model ./onnx/model.onnx

4. 以OpenVINO執行benchmark_app推斷：

   使用 ONNX* 型號：
   $benchmark_app -m onnx/model.onnx -d CPU -niter 100 -api async -insight 輸送量 -data_shape input_ids[1，1]，bbox[1，1，4]，attention_mask[1，1]，token_type_ids[1，1]
   $benchmark_app -m onnx/model.onnx -d CPU -niter 100 -api async -insight 延遲 -data_shape input_ids[1，1]，bbox[1，1，4]，attention_mask[1，1]，token_type_ids[1，1]

   使用 IR 型號：
   $benchmark_app -m model.xml -d CPU -niter 100 -api async -insight 輸送量 -data_shape input_ids[1，1]，bbox[1，1，4]，attention_mask[1，1]，token_type_ids[1，1]
   $benchmark_app -m model.xml -d CPU -niter 100 -api async -insight 延遲 -data_shape input_ids[1，1]，bbox[1，1，4]，attention_mask[1，1]，token_type_ids[1，1]

   注意	輸入形狀（由上方指令 中的data_shape 定義）可能因使用方式而異。