Intel® FPGA AI Suite
瞭解 Intel® FPGA AI Suite 如何將 FPGA AI 加進嵌入式系統和資料中心。
概要
Intel FPGA 實現即時、低延遲且低功率的深度學習推斷,並且結合以下優勢:
- I/O 彈性
- 重新設定
- 輕鬆整合至自訂平台
- 生命週期長
Intel FPGA AI Suite 的開發願景,就是在 Intel FPGA 輕鬆使用人工智慧(AI)。這個套件可讓 FPGA 設計師、機器學習工程師和軟體開發者高效打造最佳化的 FPGA AI 平台。
Intel FPGA AI Suite 的公用程式運用 TensorFlow 或 PyTorch 與 OpenVINO 工具組這類眾所周知的熱門產業架構,為 AI 推斷加速 FPGA 開發,並充分利用穩定可靠且經實證的 FPGA 開發流程,搭配 Intel Quartus Prime 軟體。
Intel FPGA AI Suite 工具流程可搭配 OpenVINO 工具組使用,且這個開放原始碼專案可在各種硬體架構將推斷最佳化。OpenVINO 工具組接受所有主流深度學習架構(例如 TensorFlow、PyTorch、Keras)的深度學習模型,並針對各種硬體架構(包括各種 CPU、CPU+GPU 與 FPGA)上的推斷,將模型最佳化。
瞭解 Intel FPGA AI Suite 如何將 FPGA AI 加進嵌入式系統和資料中心。 如需定價與供貨情況,請與 Intel 銷售人員聯絡 ›
FPGA 為什麼特別適合實作 AI
閱讀這份白皮書,瞭解 Intel® FPGA 與 SoC 搭配 Intel® FPGA AI Suite 和 OpenVINO 工具組,如何推動嵌入式/邊緣 AI/機器學習應用。
閱讀白皮書
客戶佳評
「Intel® FPGA AI Suite 與 the Intel® 發行版 OpenVINO™ 工具組使用簡易,讓 Stryker 順利為深度學習推斷開發最佳化的 Intel® FPGA IP。推斷 IP 則是利用 Intel® Quartus® Prime 軟體成功整合至 Intel® FPGA。套件提供的設計範例可讓團隊為不同影像來源快速評估不同的演算法。Intel® FPGA AI Suite 與 Intel® 發行版 OpenVINO 工具組,讓 FPGA 工程師能合作無間,為醫療應用開發最佳化的深度學習推斷。」 — Stryker 工程團隊
主要功能特色
高效能
Intel Agilex® 7 FPGA M 系列能達到 38 INT8 TOPS 的最大理論效能,或是在 FPGA 使用率 90% 的情況下,讓 Resnet-50 每秒處理 3,679 個幀數。
輕鬆系統整合
支援與 ADC/DAC、影片和乙太網路等自訂 IP 整合,實現最小的實體佔用空間與最低的延遲。
低擁有權總成本
在各式各樣的效能和批次大小利用可高度擴充及自訂的精細 AI 推斷,將擁有權總成本降到最低。
簡單又標準的流程
利用 Intel Quartus Prime 軟體或 Platform Designer 建立 AI 推斷,新增至現有或全新的 FPGA 設計。
AI 前端支援
使用您最愛的 AI 前端,例如 TensorFlow、Caffe、Pytorch、MXNet、Keras 與 ONNX。
OpenVINO 最佳化
OpenVINO 工具組將效能與功率最佳化,並且盡量減少邏輯與記憶體實體佔用空間。
FPGA AI 推斷開發流程
AI 推斷開發流程如圖 1 所示。這個流程將軟硬體工作流程順暢整合至通用的端對端 AI 工作流程。步驟如下:
1.OpenVINO 工具組的模型強化器建立中介碼網路檔案(.xml)以及權重和誤差值檔案(.bin)。
2.Intel FPGA AI Suite 編譯器用於:
- 為給定的架構檔案提供估計的面積或效能指標,或是產生最佳化的架構檔案。(架構是指推斷 IP 參數,例如 PE 陣列的大小、精度、啟動功能、介面寬度、視窗大小等。)
- 利用 FPGA 和 CPU 的磁碟分割(或兩者)以及權重和誤差值,將網路檔案編譯至 .bin 檔案。
3. 使用者推斷應用程式在執行階段將編譯的 .bin 檔案匯入。
- 執行階段應用程式設計介面(API)包括推斷引擎 API(執行階段磁碟分割 CPU 與 FPGA、排程推斷)以及 FPGA AI(DDR 記憶體、FPGA 硬體模塊)。
- 參考設計示範了如何利用支援的主機 CPU(x86 與 Arm 處理器),在 FPGA 匯入 .bin 及執行推斷的基本作業。
圖 1:Intel FPGA AI Suite 開發流程
注意:
支援的裝置:Intel Agilex® 7 FPGA、Intel® Cyclone® 10 GX FPGA、Intel® Arria® 10 FPGA
經過測試的網路、層與啟動功能1:
- ResNet-50、MobileNet v1/v2/v3、YOLO v3、TinyYOLO v3、UNET、i3d
- 2D Conv、3D Conv、完整連線、Softmax、BatchNorm、EltWise Mult、Clamp
- ReLU、PReLU
系統層級架構
Intel FPGA AI Suite 靈活彈性,可針對各種系統層級使用案例重新設定。圖 2 列出將 FPGA AI Suite IP 整合至系統的常見方法。使用案例範圍涵蓋最佳化嵌入式平台的不同的垂直產業,包括採用主機 CPU(Intel® Core™ 處理器、Arm 處理器)的應用、採用 Intel® Xeon® 處理器的資料中心環境,以及無需主機的應用(或是 Nios® V 處理器這類軟核處理器)。
圖 2:典型 Intel FPGA AI Suite 系統拓撲
CPU 卸載
AI 加速器
多功能 CPU 卸載
AI 加速器 + 額外硬體功能
擷取/內嵌處理 + AI
AI 加速器 + 直接擷取與資料串流
嵌入式 SoC FPGA + AI
AI 加速器 + 直接擷取與資料串流 + 硬體功能 +
嵌入式 Arm 或 Nios® II 或 Nios V 處理器
示範影片
Intel FPGA AI Suite 概要
觀看這段影片,熟悉 Intel FPGA AI Suite 的設計流程。
Intel® FPGA AI Suite 安裝示範影片
安裝 Intel FPGA AI Suite 很簡單,觀看這段影片的安裝示範。
Intel® FPGA AI Suite 編譯示範影片
觀看 Intel FPGA AI Suite 編譯 RESNET-50 預先訓練模型及輸出推斷結果的快速示範。
Intel Agilex® FPGA 開發板安裝與開發板啟動示範影片
這個快速教學課程會逐步引導您學習如何輕鬆啟動 Intel Agilex® 7 FPGA,並且將它的程式設計為使用 Intel FPGA AI Suite。
Intel® FPGA AI Suite PCIe 設計範例
這段影片介紹了 Intel FPGA AI Suite 的部分功能。