在使用者模式應用程式與加速器之間高效協調,將資料處理最佳化的方案。
簡介
資料導向運算正在蓬勃發展,加速資料中心工作負載及降低 COGS(銷貨成本)越來越受重視。這類加速的硬體方法包括 CPU 核心中的專門指令集架構(ISA)擴充、可程式化的異質元素(例如 GPU 與 FPGA),以及提供資料移動與轉換功能的卸載加速引擎。雖然採用 ISA 的加速在主機 CPU 的指令集架構內有妥善的定義,但卸載型加速從傳統 I/O 控制器與裝置驅動程式模型自然而然演進而來,缺乏一致的架構與功能。這份報告概述即將推出的 Intel® Xeon® 處理器,採用的各種加速器介面技術。這類技術旨在降低卸載例行成本、儘量減少端對端延遲、簡化記憶體模型,以及針對透過虛擬機器和/或容器部署的工作負載,提供合適的可擴充虛擬化功能。
現況
從傳統 I/O 控制器設計演進而來的卸載加速硬體與軟體,面臨種種難題。這些難題包括工作提交例行成本、記憶體管理複雜度、工作完成同步例行成本,以及應用程式或租用戶共用加速器。
工作提交例行成本
傳統上,應用程式向加速器提交工作時,要求會傳送至核心模式裝置驅動程式,將基礎加速器裝置軟硬體之間的介面抽象化。與核心 I/O 堆疊相關的延遲與例行成本,可能對高效能串流加速器造成瓶頸。
記憶體管理複雜度例行成本
傳統加速器設計需要鎖定記憶體,才能在應用程式與硬體加速器之間共享資料。此外,從加速器角度看待記憶體(透過直接記憶體存取的方式存取)以及從應用程式角度看待記憶體截然不同,通常需要基礎軟體堆疊,透過昂貴的記憶體鎖定與解除鎖定,以及 DMA 對應與取消對應作業,才能協調這兩個觀點取得共識。
工作完成同步例行成本
加速器現有的軟體堆疊仰賴中斷式驅動的處理方式、忙碌輪詢完成狀態暫存器,或是記憶體中的描述元。作業系統核心中的中斷式處理架構,進行上下文切換與延遲處理時會產生例行成本,進而降低系統效能。另一方面,忙碌輪詢功耗更高,造成其他應用程式可用的 CPU 週期數減少,而且可能對擴充產生負面影響。
加速器共享性
在多個並行應用程式、容器與虛擬機器之間高效安全共用加速器,是部署資料中心的基本要求。硬體輔助式 I/O 虛擬化,例如 SR-IOV,根據客體軟體需求,從存取加速器過程將 Hypervisor 排除,加速 I/O 虛擬化。
然而,這類架構往往屬於硬體密集型,比較不適合兩種設計:
- 資源受限的系統單晶片(SoC)整合式加速器設計
- 使用案例需要的擴充性,比虛擬機器型應用目前提供的擴充性還高(例如,在數千個並行容器之間共用一個加速器的使用情況)
總之,加速器的系統架構必須滿足以下需求:
- 卸載效率——低例行成本、使用者模式、功能卸載(可擴充與低延遲工作分派、輕量級同步、事件訊號發送等)
- 記憶體模型——從卸載至加速器之應用程式與功能的角度統一看待記憶體
- 虛擬化——在應用程式、容器與虛擬機器之間高效共用加速器
- 一致性——所有 IP 的軟硬體介面與 SoC 介面架構一致
加速器介面技術
本節概述即將推出之 Intel® Xeon® 處理器的加速器介面技術功能。
這些功能除滿足上述要求,還兼顧以下幾個層面:
- 可最佳化卸載的工作分派指令(MOVDIRI、MOVDIR64B、ENQCMD/S)
- 可高效同步的使用者模式等待指令(UMONITOR、UMWAIT、TPAUSE)
- 低延遲使用者中斷
- 共享虛擬記憶體
- 可擴充 I/O 虛擬化
加強卸載效率與可擴充性
MOVDIRI
使用直接儲存語意實現高處理量(4B 或 8B)門鈴寫入,嘉惠串流卸載模型,將小型工作單位高速串流至加速器。
MOVDIR64B
實現對加速器工作佇列的 64 位元原子寫入,幫助低延遲卸載模型實現效益,讓模型中的加速器裝置高度最佳化,以最少的延遲完成要求的作業。64 位元承載讓加速器得以在擷取工作描述元時避免 DMA 讀取延遲,而且在某些情況下,即使是擷取實際資料也可避免延遲(進而減少端對端延遲)。
ENQCMD/S
支援將多重非合作軟體實體(例如 VM 內部的應用程式、容器或應用程式/容器)的工作同步直接提交至加速器的工作佇列(稱為共用工作佇列或 SWQ),如下圖所示。將 ENQCMD(將指令加入佇列)與 ENQCMDS(將指令當成主管加入佇列)指令加入佇列的指令,有兩項獨特的特點:
- 工作描述元內有一個處理序位址空間識別碼(PASID),可讓加速器根據每個描述元識別提交軟體代理程式
- 這些指令使用 PCIe* 可延遲記憶體寫入(DMWr)要求,讓加速器得以執行或延遲傳入的 DMWr 要求
ENQCMD/S 指令向軟體回傳「成功」或「重試」(延遲)指示。成功代表工作被 SWQ 接受,而重試則表示,由於 SWQ 容量、QoS 或其他原因,工作未被接受。工作提交者收到重試狀態時,可以稍後重試。
UMONITOR/UMWAIT/TPAUSE
在使用者模式軟體與卸載任務之間實現低延遲同步。此外,處理器得以進入依實作有所不同的最佳化狀態,同時等候加速器完成已派遣的工作。最佳化狀態可能是輕量型功耗或效能最佳化狀態,或是增強型功耗/效能最佳化狀態。UMWAIT 與 TPAUSE 指令可讓軟體從這兩種最佳化狀態選擇,同時也提供了可指定自選逾時值的機制。TPAUSE 指令可與交易同步延伸模組一起使用,等待多重事件。這些指令讓超執行緒(HT)在同層級執行緒高效等待事件時,利用運算資源。
使用者中斷
實現向使用者模式軟體直接發送訊號的輕量型機制。使用者中斷可在沒有任何核心介入的情況下,將事件交付給使用者空間應用程式,而且可供核心代理程式用於向使用者空間應用程式傳送通知,取代使用作業系統訊號發送機制。使用者中斷可減少高效能應用程式的端對端延遲、整體波動,以及上下文切換的例行成本。
共用虛擬記憶體(SVM)
SVM 架構透過以下方式,讓 CPU 與加速器從統一的角度看待記憶體:
- 讓加速器使用與 CPU 相同的虛擬位址
- 讓加速器存取未鎖定的記憶體,以及從 I/O 頁面錯誤復原
即將推出的 Intel Xeon 處理器支援 SVM 功能,例如處理序位址空間識別碼(PASID)、位址翻譯服務(ATS)以及頁面要求服務(PRS)。系統軟體會分配 PASID,識別提交工作之每個用戶端的位址空間,而且 Intel® 虛擬化技術會延伸,以此共用用戶端的 CPU 分頁表,執行 PASID 精細 DMA 重新對應,並且協助加速器從 I/O 頁面錯誤復原。
加速器使用 SVM 功能,直接處理應用程式位址空間的資料。加速器收到工作描述元時,會查找 DMA 位址轉譯的裝置轉換後備緩衝區(DevTLB);如果位址轉譯已快取(DevTLB 命中的情境),則會發出 DMA 要求以及自 DevTLB 獲得的轉譯後主機實體位址(HPA)。若是 DevTLB 未命中,則加速器會向 IOMMU 發出 ATS 位址轉譯要求,由 IOMMU 參考位址轉譯表,取得轉譯結果。轉譯成功時,DevTLB 會快取回傳的位址轉譯資訊,並且發出 DMA 要求。轉譯失敗時(亦即 I/O 頁面錯誤),加速器可向系統軟體發出 PRS 頁面要求,為錯誤頁面發出「頁面載入」要求(例如 CPU 頁面錯誤處理)。加速器收到成功的頁面回應時,會在主機成功處理錯誤後重新發出位址轉譯要求,取得轉譯結果。
系統軟體修剪處理序的工作集、處理對 VMM 記憶體的過度使用,以及終止應用程式或 VM 等,可能變更應用程式/VM 分頁表。如果發生這種情況,系統軟體會指示加速器,將與此變更相關的 DevTLB 條目作廢,然後同步處理回應。
Intel® Scalable I/O Virtualization (Intel® Scalable IOV)
Intel Scalable IOV 是硬體輔助 I/O 虛擬化的新方法。這個方法可在獨立網域(應用程式、VM、容器等)以精細、靈活、高效能的方式共用 I/O 裝置,同時為端點硬體裝置減少這類共用的複雜度。此外,還可將精細佈建的裝置資源(例如工作佇列、佇列配對或上下文)獨立指派給用戶端網域。加速器的軟體存取分類屬於「直接路徑」或「攔截路徑」。直接路徑存取(例如工作提交或工作完成處理)直接對應至加速器資源,有助於改善效能。攔截路徑存取類似組態作業,由虛擬裝置組合模組(VDCM)模擬,有助於提高彈性。此外,Intel Scalable IOV 延伸 Intel® VT-d,支援 PASID 精細 DMA 重新對應,讓指派至不同網域的裝置資源享有精細的隔離。
Intel Scalable IOV 為位址網域不同且使用不同抽象層(例如系統呼叫 VM 的應用程式處理序或虛擬裝置介面)的裝置資源,提供彈性的共用方式。還可將 VDEV 動態對應至裝置資源,讓 VMM 得以過度佈建裝置資源。更廣泛而言,儘管實體 I/O 裝置屬於不同世代,但 Intel Scalable IOV 使用 VDCM 將 VDEV 功能虛擬化,並提供相容的 VDEV 功能,讓 VMM 得以維持資料中心的世代相容性。這樣一來,便可確保有 VDEV 驅動程式的特定客體作業系統映像,可部署或移轉至任何實體機器。
採用 Intel® Data Streaming Accelerator 的加速器介面技術
Intel® Data Streaming Accelerator (Intel® DSA) 是複製與轉換資料的高效能加速器,已整合至即將推出的 Intel Xeon 處理器。 Intel DSA 旨在將串流資料的移動與轉換最佳化。對於專為高效能儲存裝置、網路、持續性記憶體,以及各種資料處理應用所設計的應用程式,這種最佳化稀鬆平常。
Intel DSA 運用先前所說的加速器介面技術,實現高效可擴充的加速器卸載,同時降低建置這種可擴充加速器硬體的相關成本,並且化繁為簡。
Intel DSA 支援裝置託管的專用工作佇列(DWQ),讓個用戶端得以擁有或控制工作佇列的流量/佔有率,以及裝置託管的共用工作佇列(SWQ),進而實現可擴充的共用方式。如下圖所示,軟體可能將 DWQ 指派給單一個別用戶端,同時將 SWQ 對應至一個或多個用戶端。軟體使用 MOVDIR64B 指令,將 64 位元工作描述元提交至 DWQ,並且使用 ENQCMD/S 指令,將 64 位元工作描述元提交至 SWQ。工作描述元還可以要求完成中斷、完成寫入,或同時要求兩者,透過 UMONITOR/UMWAIT 指令實現高效同步處理。
Intel DSA 支援 SVM 與可復原 I/O 頁面錯誤,實現簡化的程式設計模型,並且讓應用程式、作業系統與 Hypervisor 軟體採用這款模型時順暢無礙。為可擴充 I/O 虛擬化功能提供支援,實現了虛擬機器或容器型部署的 Intel DSA 卸載,並且在 Intel DSA 虛擬裝置持續指派給 VM 或容器的同時,使即時移轉成為可行的作法。