視訊與影像處理套件
Intel FPGA Video and Image Processing Suite 集結了各種 Intel FPGA intellectual property (IP) 功能,可用於協助開發客製化的視訊與影片處理設計。這些 Intel FPGA IP 功能適合用於各種影片處理與顯示應用,例如播音室廣播、視訊會議、AV 網路、醫學影像、智慧城市/零售與消費者。
視訊與影像處理套件
影片和視覺處理套件是下一代 IP 套件,適用於影片、影像和視覺處理。使用 Intel FPGA 串流影片通訊協定的 IP 傳輸影片,採用業界標準的 AXI4 串流通訊協議。通訊協定轉換器 IP 允許與 Avalon 串流影片標準互通,以及與 Avalon 串流影片通訊協定相容的現有影片和影像處理套件 IP 或其他 IP 互通。
Video and Image Processing Suite 的核心範圍,包括色彩空間轉換這類簡單的建置區塊功能,以及可執行可程式化多相縮放的精密複雜視訊縮放功能。
- 所有 VIP 核心均使用開放式低成本 Avalon® 串流 (Avalon-ST) 介面標準,因此輕輕鬆鬆即可連接
- 您可以使用 VIP 核心,迅速建置使用 Intel® Quartus® Prime Lite 或 Standard Edition 軟體和已建立關聯的 Platform Designer 的客製化視訊處理訊號鏈。
- 您可以將視訊與影片處理核心與自己的專屬 IP 混搭。
- 您可以使用 Platform Designer 自動整合嵌入式處理器和周邊裝置,並生成仲裁邏輯。
- 能夠以 60 fps 以上畫面播放速率支援 8K 影片。
功能特色
Video and Image Processing Suite Intel FPGA IP 功能
Intel FPGA IP 功能 |
描述 |
---|---|
在影像資料串流執行 3x3、5x5 或 7x7 的有限脈衝響應(FIR)濾波器,讓影像更平滑或更銳利。 |
|
混合多種影像串流,適合用於執行文字疊加與子母畫面混合。 |
|
在無須進一步延遲的情況下擷取視訊資料封包,並且連線至追蹤系統 IP 收集視訊追蹤資料。 |
|
移除與修復傳入資料流中的非理想序列與錯誤案例, |
|
改變影像畫面的 chroma 資料取樣率,例如從 4:2:2 改為 4:4:4 或是 4:2:2 改為 4:2:0。 |
|
提供裁剪視訊資料流的方式,而且可以編譯時間或執行階段的方式設定。 |
|
Clocked Video Interface IP core 可將定時視訊格式(例如 BT656、BT1120 與 DVI)轉換為 Avalon-ST 視訊;反之亦然。 |
|
改變彩色面範本在 Avalon-ST 介面傳輸的方式。此功能可用分割與接合視訊資料流,控制彩色面範本的路由傳送。 |
|
在各種不同色彩空間之間轉換影像資料,例如 RGB 轉換為 YCrCb。 |
|
Configurable Guard Bands |
Configurable Guard Bands IP core 會以保護頻帶上下限數值為基準,比較輸入視訊資料流中的每個彩色面。 |
在兩個功能之間,即時將視訊資料流的變更同步化。 |
|
使用移動可適性解交錯演算法,將交錯式視訊格式轉換為漸進式視訊格式。另外也支援「bob」和「weave」演算法、低角度邊緣偵測、3:2 韻律偵測以及低延遲。 |
|
將視訊畫面緩衝至外部 RAM。此核心提供各種畫面丟棄與重複的選項,支援雙緩衝或三重緩衝。 |
|
從外部記憶體讀取視訊,然後以資料流的方式輸出。 |
|
可針對顯示裝置的實體屬性修正視訊資料流。 |
|
丟棄傳入之漸進式畫格的一半行數,將漸近式視訊轉換為交錯式視訊。 |
|
Scaler II Intel FPGA IP 功能採用 HDL 程式碼,相較於 Video and Image Processing Suite 內的第一代倍頻器,提供的效能更高,使用的區域更小。Scaler II 功能新增對 4:2:2 chroma 資料取樣率的支援,進一步減少需要的資源。邊緣適應性演算法的新功能可減少模糊並兼顧真實性,同時提供線性與多相演算法。 |
|
可即時切換視訊資料流。 |
|
產生包含靜態色彩條的視訊資料流,當成測試型樣使用。 |
|
監視從視訊監視器擷取的資料,然後透過 JTAG 或 USB 連線至主機系統主控台以供顯示。 |
開始使用
設計範例與開發套件
以下是可以在開發工具組執行的設計範例。
產品名稱 |
支援的裝置/開發工具組 |
子卡 |
符合平台設計師 |
供應商 |
---|---|---|---|---|
✓ |
Intel |
|||
無 |
✓ |
ALSE |
||
無 |
✓ |
Terasic |
||
✓ |
Intel |
教學影片
線上訓練課程
此訓練會介紹 Intel FPGA 視訊平台和設計流程。此課程重點摘要說明各種設計考量和除錯技巧,並且討論視訊與影像處理 IP 的演算限制。
在這個實驗室實際操作型的視訊與影像處理工作坊,您將進一步探索 VIP 架構、瞭解如何掌握 VIP 設計方法,以及透過視訊和影像處理實驗室聯席,獲得實際操作的直接體驗。
IP 品質指標
基本功能 |
|
---|---|
首次發布年度 IP |
2009 |
支援最新版本的 Intel® Quartus® 軟體 |
18.1 |
狀態 |
生產 |
可交付成果 |
|
客戶可交付成果包括下列項目︰ 設計檔案(加密原始程式碼或合成後網表) ModelSim*-Intel® FPGA Edition 的模擬模型 計時與(或)佈局限制 測試平台或設計範例 具有修訂控制的文件 讀我檔案 |
是 是 是 是 是 否 |
以 IP 提供的任何其他客戶可交付成果 |
無 |
可讓最終使用者設定 IP 的參數化 GUI |
是 |
已啟用 IP 核心以支援 Intel FPGA IP 評估模式 |
是 |
Source language |
Verilog |
測試平台語言 |
Verilog |
提供的軟體驅動程式 |
sw.tcl 檔案 |
驅動程式作業系統 (OS) 支援 |
無 |
實作 |
|
使用者介面 |
計時影片(進是計時影片輸入,出是計時影片輸出)、Avalon®-ST(所有其他資料路徑) |
IP-XACT 中繼資料 |
否 |
驗證 |
|
支援的模擬器 |
ModelSim、VCS、Riviera-PRO、NCSim |
經過驗證的硬體 |
Arria® II GX/GZ、Arria® V、Intel® Arria® 10、Cyclone® IV ES/GX、Cyclone® V、Intel® Cyclone® 10、Intel® MAX® 10、Stratix® IV、Stratix® V |
已執行業界標準合規性測試 |
否 |
如果是,是哪種測試? |
無 |
如果是,在哪種 Intel FPGA 裝置上? |
無 |
如果是,執行日期 |
無 |
如果否,是否已規劃? |
無 |
互通性 |
|
IP 已經過互通性測試 |
是 |
如果是,在哪個 Intel FPGA 裝置上 |
Intel Arria 10、Intel Cyclone 10 |
提供互通性報告 |
無 |
伽瑪校正器
根據它將傳送的目標顯示器相關資訊,必須將像素值限制在特定範圍時,使用 Gamma Corrector。部分顯示器會對視訊訊號電壓產生非線性反應,因此必須重新對應像素值,才能修正顯示器。Gamma Corrector 使用 Avalon®-MM 介面對照表,提供更改值的像素值對應。
在顯示的 Gamma Corrector 範例中,含介於 0 至 255 之 8 位元色值的 Y'CbCr 輸入,經由 Gamma Corrector 傳送,接著將數值重新對應為符合 16 至 240 的範圍,然後傳送至 Clocked Video Output。
2D FIR Filter
2D 有限脈衝響應(FIR)濾波器視訊智慧財產(IP)核心可用於以序列方式處理彩色面,然後透過 FIR 濾波器傳送像素值。係數會透過可連接 Nios® II 處理器的 Avalon Memory Mapped (Avalon-MM) 介面輸入,或是透過存取含視訊資料路徑之 Qsys 設計的其他周邊裝置輸入。
為了通過 FIR 濾波器,顯示的範例方塊圖使用 2D FIR 濾波器,搭配以序列方式格式化 RGB 彩色面的計時影片輸入。濾波完成之後隨即使用彩色面時序控制器,將彩色面從三個序列平面重新格式化為三個平行平面。有了三個平行平面之後,視訊畫面便可透過 Clocked Video Output core 外部傳輸。
Alpha Blending Mixer and Mixer II
Alpha Blending Mixer 與 Mixer II core 分別可混合高達 12 個或 4 個圖層,而且可透過 Avalon-MM 介面控制執行階段。透過 Avalon-MM 介面從 Nios II 處理器存取,您可動態控制各圖層的顯示位置,以及圖層疊加的順序(僅限 Mixer I)。Mixer I 的 Alpha 透明混色功能支援顯示透明或半透明像素(僅限 Mixer I)。
Mixer II core 內建測試模式產生器,當成背景圖層使用。這是附加的優勢,因為四個輸入的其中一個不必源於測試模式產生器核心。Mixer II 的另一個優勢是支援 4K 影片。
Mixer 核心使用方式的範例方塊圖顯示,以輸入 0 提供作用中視訊摘要的計時影片輸入、內建測試模式產生器提供的背景圖層,以及正在讀取輸入 1 上公司圖誌這類靜態圖形的幀讀取器核心。這些摘要混合之後,顯示了有圖形的視訊影片,以及測試模式產生器提供的背景。
建議您,除非確定輸入和輸出各自的畫面播放速率與位移,不會導致資料餓死及後續鎖定,否則請直接從幀緩衝器提供 Mixer 輸入。
Chroma 再取樣器
Chroma 再取樣器用於變更視訊資料的 chroma 格式。在 Y'CbCr 色彩空間中傳輸的視訊,為了節省資料頻寬,可以再取樣 Cb 與 Cr 色彩元素。Chroma 再取樣器可在 4:4:4、4:2:2 與 4:2:0 格式之間切換。
範例顯示,Chroma 再取樣器將 Y'CbCr 為 4:2:2 chroma 格式的計時影片輸入,放大為 4:4:4 格式。接著,這個放大的視訊格式會被傳輸至色彩空間轉換器,將視訊格式從 Y'CbCr 轉換為 RGB,再傳送至計時影片輸出核心。
截波器 II
您想擷取要向前傳送的視訊摘要固定區域時會使用截波器核心。截波器核心可在編譯期間設定,或是透過 Nios II 處理器或其他周邊裝置的 Avalon-MM 介面更新。截波器可以將裁剪方式設定為從邊緣偏移,或是固定矩形區域。
範例顯示兩個截波器執行個體,從各自的視訊輸入擷取 400 x 400 像素區域。接著這兩個裁剪的視訊摘要會與其他圖形在 Mixer 核心中混合,並且以內建的測試模式產生器作為背景。Mixer 能夠調整視訊輸入的位置,因此必要時,您可以將兩個裁剪的視訊並排放置,並且加上幀緩衝器。
計時影片輸入與輸出核心(I 和 II)
計時影片輸入與輸出核心用於擷取及傳輸各種格式的視訊,例如 BT656 與 BT1120。
計時影片輸入核心會將傳入的視訊資料轉換為 Avalon Streaming (Avalon-ST) 視訊格式化封包資料,並且移除水平與垂直消隱,僅保留有效圖片資料。該核心可讓您以一個頻率擷取視訊,然後將資料傳至其餘的 Qsys 系統,並且以相同的頻率或其他頻率執行。
顯示的計時影片輸入範例將視訊送入倍頻器區塊,從 1280 x 720 放大至 1920 x 1080,然後傳送至計時影片輸出核心。如果輸入和輸出的畫面播放速率相同,便可建立計時影片輸入與計時影片輸出內的 FIFO,在無須幀緩衝器的情況下進行轉換。
彩色面時序控制器
彩色面時序控制器用於重新排列視訊系統中的彩色面元素。該控制器可用於將彩色面從序列轉換為平行傳輸(或是反之亦然),以「複製」視訊頻道(例如可能需要複製才能驅動次要視訊監視器子系統),或是「分割」視訊頻道(可能必須分割,才能從幀讀取器將一個 Alpha 平面與輸出為 4 個平面的三個 RGB 平面分隔)。
顯示的彩色面時序控制器範例有 2D FIR 濾波器視訊 IP 核心,在彩色面為序列的情況下,視訊才能輸入與輸出。若要以需要的格式將視訊傳輸至計時影片輸出,必須以彩色面時序控制器將彩色面轉換為平行。
色彩空間轉換器(I 與 II)
您必須在 RGB 與 Y'CrCb 色彩空間格式之間轉換時會使用色彩空間轉換器核心(CSC 與色彩空間轉換器 II)。取決於視訊輸入與輸出格式需求,您可能必須在不同的色彩格式之間轉換。
顯示的色彩空間轉換器範例有 Chroma 再取樣器,會先將 Y'CrCb 視訊放大後傳送至色彩空間轉換器,然後轉換為要傳送至計時影片輸出的 RGB 色彩格式。
控制同步器
控制同步器會與 Avalon-MM 主控制器搭配使用,例如 Nios II 處理器或其他周邊裝置。控制同步器用於在視訊資料變更時,將一或多個視訊 IP 區塊內的執行階段配置變更同步化。上游的視訊 IP 核心可能發生某些配置變更,同時視訊畫面仍舊以先前的格式通過核心。為了讓轉換順暢並且避免畫面故障,使用控制同步器即可在新傳入的視訊畫面資料到達核心時,讓配置切換完全一致。
顯示的控制同步器範例中,Nios II 處理器正在設定測試模式產生器,將畫面大小從 720p 變更為 1080p。控制同步器收到 Nios II 處理器的通知,說明視訊畫面資料即將變更,但是新畫面通過幀緩衝器抵達控制同步器之前,會延後重設計時影片輸出。控制同步器會讀取畫面的控制資料封包,判斷它是否與新配置相符,然後將計時影片輸出核心更新至新設定,讓視訊輸出的解析度變更順暢無礙。
解交錯器(I 和 II)與播送解交錯器
解交錯器核心(解交錯器、解交錯器 II 與播送解交錯器)會將交錯式視訊畫面轉換為漸進式視訊畫面。如何解交錯視訊有多種演算法可供選擇,取決於需要的品質、使用的邏輯區域,以及可用的外部記憶體頻寬。
顯示的解交錯器核心使用方式範例中,計時影片輸入接收交錯式畫面,然後通過解交錯器傳送,而且解交錯器會與外部記憶體和幀緩衝器核心交易。視訊解交錯為漸進式掃描格式之後,會透過計時影片輸出核心送出。
幀緩衝器(I 與 II)
幀緩衝器與幀緩衝器 II 核心用於緩衝漸進式與交錯式視訊圖場,而且提供各式各樣的丟棄與重複畫面選項,可支援雙緩衝或三重緩衝。以解交錯視訊、變更視訊畫面播放速率,或是偶爾混合視訊的情形來說,一定要有幀緩衝器。
顯示的幀緩衝器使用方式範例中,有個案例的計時影片輸入核心正以每秒 30 個畫面格數(fps)接收視訊,而且必須將它轉換為 60 fps。幀緩衝器核心用於緩衝多重畫面,並且支援重複畫面,因此畫面播放速率能夠被轉換為 60 fps,然後透過計時影片輸出核心傳送出去。
幀讀取器
幀讀取器核心用於讀取儲存於外部記憶體中的視訊畫面,然後以 Avalon-ST 視訊資料流的方式將它們輸出。資料僅限以原始視訊像素值的方式儲存。
顯示的範例使用幀讀取器將公司圖誌圖形重疊於另一個視訊資料流,並且透過 Mixer 核心將圖層合併在一起。接著將合併的視訊傳出至計時影片輸出核心。混合器可選擇設定為包含 Alpha 通道。在這個個案中,幀讀取器可設定為讀取三個彩色面與一個 Alpha 平面,並且在輸入 Mixer 之前,先使用色彩空間轉換器(未顯示)「分割」。
倍頻器 II
倍頻器 II 核心用於縮放視訊畫面。它支援多種演算法,包括最鄰近、雙線性、雙三次與多相/蘭佐斯縮放。晶載記憶體用於緩衝縮放用的視訊掃描線,縮放比例愈大,需要的儲存空間愈大。
顯示的倍頻器 II 核心範例,正將計時影片輸入的 720p 視訊畫面放大為 1080p,然後將它傳送至計時影片輸出。
Switch(I 與 II)
Switch 核心可讓使用者連線多達十二個輸入視訊資料流,以及多達十二個輸出視訊資料流。Switch 雖然無法合併或重複視訊資料流,但可讓您將路由傳送從輸入連接埠變更為輸出連接埠。除非您希望依舊能監視那些視訊資料流,否則未必要連線所有輸出連接埠。Switch 的控制是透過 Avalon-MM 介面完成,而且 Nios II 處理器或其他 Avalon-MM 對應週邊裝置皆可存取這個介面。
顯示的 Switch 範例中,計時影片輸入與測試模式產生器正在饋送 Switch 上的兩個連接埠。第二個 Switch 輸出連接埠並未連線,Nios II 處理器控制了兩個饋送中的哪一個會傳送至連線計時影片輸出的連接埠顯示。
測試模式產生器 II
測試模式產生器核心可讓您產生若干影像,快速測試您的視訊介面。該核心可針對許多不同的影像大小設定,也可以針對 RGB 與 YCbCr 色彩格式設定。
您可以使用測試模式產生器核心搭配計時影片輸出核心,快速驗證系統的視訊介面。備妥需要的視訊規格之後,短短幾分鐘即可完成設計,迅速驗證介面可以在外部顯示器產生影像。
Avalon-ST 視訊監視器
Avalon-ST 視訊監視器這個核心,可搭配讀取 Avalon-ST 視訊封包資訊及提供診斷資料給追蹤視訊的視訊資料路徑,以序列的方式插入。這個視訊監視器會插入您想探查視訊資料路徑是否有分析與統計資料資訊的位置。若是結合追蹤系統核心,並且透過 JTAG 這類偵錯連接埠或透過 Intel FPGA Download Cable 以外部方式連接,您可更深入洞察視訊系統的行為。您可以將系統主機當作虛擬平台使用,顯示此資訊。
顯示 Avalon-ST 視訊監視器插入彩色面時序控制器前和後的範例。這些可用於監視從計時影片輸出以及從彩色面時序控制器傳來的視訊封包資訊。視訊監視器不會在視訊資料通過核心時更改資料。在這個案例中,視訊監視器已連線透過 JTAG 存取的追蹤系統。
追蹤系統
追蹤系統用於存取插入視訊診斷資訊設計中的 Avalon-ST 視訊監視器。多個視訊監視器核心可用於連線至一個追蹤系統控制器。追蹤系統連線至使用 JTAG 連接器這類偵錯介面或 Intel FPGA Download Cable 介面(若有)的主機。
範例顯示搭配若干插入彩色面時序控制器前後之 Avalon-ST 視訊監視器使用的追蹤系統。在這個案例中,視訊監視器已連線透過 JTAG 存取的追蹤系統。
其他資源
尋找 IP
尋找符合您需求的 Intel® FPGA 智慧財產權核心。
技術支援
如需此 IP 核心技術支援,請造訪支援資源或 Intel® 高級支援。您也可以在知識中心與社群搜尋此功能的相關主題。
IP 評估與購買
Intel® FPGA 智慧財產核心的評估模式與購買資訊。
使用 Intel® FPGA IP 從事設計
進一步瞭解使用 Intel® FPGA IP 從事設計,這是專為 Intel® FPGA 最佳化的大量現成核心。
IP 基礎工具組
免費的 Intel® FPGA IP 核心授權,以及 Intel® Quartus® Prime Standard 或 Pro Edition 軟體的有效授權。
設計範例
下載 Intel® FPGA 裝置的設計範例與參考設計。
聯絡業務人員
為了滿足您 Intel® FPGA 產品設計與加速的需求,請與銷售人員聯絡。