Alibaba 建立端對端 PPML 解決方案

概覽

巨量資料與人工智慧（AI）等創新數位技術正在迅速重塑世界。它們為人們的生活帶來更多可能性，改變了社會與經濟的發展模式。愈來愈多的企業明白資料已成為數一數二的關鍵資產，無不抓緊資料導向轉型的趨勢。然而，在此同時，他們的資料元件在組織內外部的儲存、處理與流通過程中也面臨嚴重的安全性風險。因此，保護資料的安全性如今是決定數位轉型成敗的關鍵因素之一。

基於 Intel® Software Guard Extensions（Intel® SGX），Intel 建置了BigDL PPML（隱私保護機器學習）來保護端對端的巨量資料與 AI 管道。Intel 與阿里雲 DataTrust 合作，在其端對端工作流程與相關的業務情境中驗證了 PPML 解決方案，並示範基於 BigDL PPML 快速建置端對端隱私保護應用程式的最佳做法。

背景：巨量資料與 AI 的資料融合受到安全性風險的挑戰

數位轉型在強調資料價值的重要性及加速資料流動的同時，也導致資料在多方之間的儲存、流通及處理變得複雜。單一組織難以準備所有資料，尤其是 AI 與巨量資料應用程式所需的資料。因此，多方應攜手合作，實現資料的融合以方便使用。以金融 AI 演算法的訓練為例，個別金融機構無法單憑自己的資料滿足需求。在這種情況下，多方可以共同建立及維護 AI 模型，最終也能共享資料。

然而，由於跨機構、跨產業的資料融合、分析與建模的需求日益增加，資料安全性風險也急遽積累。一方面，資料可輕鬆複製及傳播，因此一旦在傳統的安全性模型中分享資料便難以追蹤。另一方面，資料持續流動會導致職責劃分不清、權限控制困難，以及權責難以追蹤等問題。因此，資料安全性與可靠性成為首要任務。

不過，傳統的 AI 與巨量資料應用程式的安全性解決方案往往面臨以下挑戰：

• 聯合分析與建模需要頻繁的資料分享與融合，而傳統的資料安全性解決方案旨在保護待用和傳輸中的資料，而非使用中的資料。因此，某些安全性威脅可能會突破安全性的防線，導致資料洩漏等事件。
• AI 與巨量資料應用程式涉及多個流程，例如資料輸入、資料分析、機器學習與深度學習。這些流程中的漏洞都可能導致資料洩漏等嚴重後果。因此，確保端對端安全性至關重要。
• 針對 AI 與巨量資料的攻擊，包括各種已知與未知的安全性威脅，以及各種攻擊技術與工具。然而，傳統解決方案通常適用於軟體等級，但幾乎無法保護硬體底層，對進一步提升保護效率構成阻礙。
• 資料安全性措施往往訴諸相對複雜的計算，這可能會導致某些效能損失，並對資料銀行的營運效率造成負面影響。

解決方案：基於 BigDL PPML 的阿里雲 E2E PPML

為了協助企業更完善地保護 AI 與巨量資料應用程式的端對端隱私，阿里雲與 Intel 攜手合作，透過協同 BigDL PPML 與阿里雲 DataTrust，在端對端工作流程與相關的業務情境中驗證阿里雲 E2E PPML。

圖 1。BigDL PPML 軟體堆疊。

BigDL PPML

BigDL是 Intel 的整合性開源 AI 解決方案平台，可讓資料科學家和資料工程師更輕鬆地建置端對端分散式的 AI 應用程式。BigDL 利用 Intel® SGX、Intel 的可信執行環境（TEE），並與其他軟硬體安全性措施整合，建置了分散式的 PPML 平台，保護端對端分散式的 AI 管道（從資料攝取、資料分析，一路到機器學習與深度學習）。

作為 BigDL PPML 的重要的基礎技術，Intel SGX 繞過系統的作業系統（OS）與虛擬機器（VM）軟體層，為許多此類的攻擊提供額外防護。它增加了資料安全性，並滿足對深度機密運算的需求。Intel SGX 提供硬體型記憶體加密，可隔離記憶體中的特定應用程式碼和資料。Intel® SGX 可讓使用者等級的程式碼指派記憶體的隱私區域（稱為「隔離區」），旨在從較高權限等級的執行程序中受到保護。
 

圖 2。Intel® SGX 在硬體底層提供保護。

Intel SGX 經過嚴格測試及廣泛部署，是硬體型的資料中心可信執行環境（TEE），在系統中具有最小的攻擊面。除了協助抵禦軟體型攻擊，Intel® SGX 的證明機制也協助使用者驗證應用程式與硬體未受到損害，且處理器擁有最新的安全性更新。
開發者可使用 BigDL PPML 平台：

• 透過加密資料開發及執行標準的分散式AI 應用程式（例如巨量資料分析、機器學習和深度學習）；
• 利用 Intel SGX 等硬體型安全性技術保護運算流程與相應的記憶體資料；以及
• 為AI 應用程式提供端對端安全性與隱私保護，例如利用 Intel SGX 硬體在 K8s 環境中建立及驗證可信的叢集；透過金鑰管理系統（KMS）為分散式資料提供加密與解密功能；並基於Intel SGX、加密與解密、TLS 與安全性驗證等技術實現安全的分散式運算與資料通訊。

阿里雲 DataTrust

阿里雲 DataTrust 是業界領先的隱私增強運算平台，基於 TEE、安全多方計算（MPC）、聯合學習（FL）與差分隱私（DP）等隱私增強技術。它致力實現資料價值的安全流動，並為產業提供正確、易於使用且高度可用的產品，確保資料流通安全。

圖 3。阿里雲 DataTrust 的架構。

阿里雲 DataTrust 基於 Intel SGX，採用 MPC 與 FL 等技術，並利用阿里雲資料中心豐富的應用程式情境，進而與多方資料執行聯合分析、訓練與預測，同時確保資料的安全性，並為企業提供資料服務原生解決方案，保護資料流通，協助促進業務成長。

端對端解決方案工作流程

基於隱私運算的核心功能，BigDLPPML 整合了更多端對端隱私保護運算工作流程的元件，例如證明服務、金鑰管理服務和基於 Kubernetes 的安全容器部署。

圖 4。基於 BigDL PPML 的端對端安全運算工作流程。

在上述基於 BigDL PPML 的端對端安全運算工作流程中，每個流程的功能如下：

圖 5。基於 BigDL PPML 的端對端安全運算工作流程功能。

BigDL PPML 解決方案整合了上述工作流程方案，包括：基於Intel的SGX 信任運算核心元件，支援 Apache Spark、Spark SQL、機器學習與深度學習；證明服務的抽象用戶端 API；金鑰管理服務的抽象用戶端 API；加密資料傳輸與儲存；以及自訂的 K8s 容器影像。

透過上述預先設定的工作流程，開發者可更專注於業務邏輯的開發，並使用 BigDL PPML 確保應用程式的端對端安全性與隱私性。使用者可顯著提高私有運算應用程式的開發效率，並大幅縮短私有運算解決方案的時間。

應用程式實作

阿里雲 DataTrust 執行 Spark SQL 執行個體，驗證 BigDL PPML 解決方案。基本步驟如下：

1.在阿里雲上建立安全的 ECS 執行個體

建立一個具有加密記憶體的 g7t 執行個體，如圖 5 所示。建立之後，在下方清單中確認執行個體的規格：

圖 6.ECS 執行個體規格。

2.準備 BigDL PPML 的作業環境

首先，部署 Kubernetes 叢集、Intel SGX 外掛程式與 NFS 服務，取得 BigDL PPML 的 Docker 影像，並產生安全性金鑰與密碼。接著，執行 Kubernetes 安全性設定，包括 RABC 設定與 Kubernetes 密碼產生。最後，啟動 BigDL PPML 用戶端容器。

3.在 ECS 上使用BigDL PPML 執行使用者樣本，測試端對端安全性保護

首先，進入 BigDL PPML用戶端容器、產生 appID、appKey 與 KMS 金鑰，並使用 KMS 金鑰對輸入資料進行加密。接著，設定 spark-executor-template。Yaml 並將加密資料與 KMS 金鑰放置在 NFS 路徑。最後，將任務提交至 Kubernetes 叢集，並執行樣本計畫。

透過上述證明流程，在阿里雲 ECS g7t.32xlarge 執行個體上執行產業評測基準、基於 TPC-DS 的查詢。測試設定如下：

以 99 個查詢語句所費時間的幾何平均數為指標，基於 Intel SGX 的 BigDL PPML 執行時間是未受 Intel SGX 保護情況下的 1.89 倍。¹

測試資料顯示，雖然啟用 Intel SGX 後會造成特定效能損失，但這種效能損失是在可接受的範圍之內。此外，Intel SGX 帶來的效能損失通常比傳統安全性解決方案要低得多，因此可以在保護資料安全性的同時節省運算資源。

表 1.測試設定。

優勢：推動資料價值的安全流動

基於 BigDL PPML 的阿里雲端對端 PPML 解決方案保留了 TEE 的優勢。相較於傳統的資料安全性解決方案，它提供更高層次的安全性和資料實用性，而且效能損失較低。

企業可利用這個解決方案建構端對端安全性工作流程，為 AI 與巨量資料應用程式的多個階段（包括資料擷取、資料分析、機器學習與深度學習）提供保護功能，防範安全性威脅。在此同時，該解決方案從硬體底層實現更高層次的資料保護，抵禦傳統安全性解決方案難以防範的攻擊，進而減少重要資料的洩漏風險。

透過這個解決方案，企業將能提供安全的資料融合服務。聯合分析、訓練和預測不公開原始資料，只授權邏輯資料用於應用程式，因此可滿足情境資料融合的安全性需求。自主權、可控性與安全性等業務需求也可得到滿足，為客戶提供透明且可控管的安全流通環境。它也提供輕鬆存取及退出管理介面，並擁有永久資料控制權。此外，這個解決方案採用尖端安全性技術，並針對各種業務情境進行封裝，在企業資料的安全流通上表現出色。

這個解決方案的典型應用情境如下：

• 全球精細化營運：在保護個人隱私與資料安全性的前提下，品牌所有者從連結平台與第三方的「全域資料」建立數位與智慧營運功能，最佳化消費者、產品與市場的複雜程度，並推動業務成長。
• 聯合智慧風險控制：將原始資料保存在各自的環境、企業或機構中，使用隱私增強運算技術，實現多方資料的風險控制、提高風險識別的效率，並推動業務健康成長。
• 廣告建議：在保護消費者隱私與第一方及第二方資料安全性的前提下，實現基於安全資料的聯合建模、改善演算法準確度與廣告成效，並推動永續且高效的業務成長。

摘要與展望

隨著資料安全性與隱私保護的法律與法規不斷推陳出新，對組織而言，保護客戶資料隱私性的任務是前所未有的重要。在 PPML 的支援下，組織將繼續探索強大的 AI，同時減少在處理和分析過程中大量敏感資料的風險。

基於 Intel SGX、BigDL 與許多其他安全性元件的 BigDL PPML 解決方案，建構了一個平台，確保資料安全性以及巨量資料與 AI 的效能。BigDL PPML 工作流程由阿里雲與 Intel 聯合驗證。這次合作展現了使用 BigDL PPML 開發端對端隱私保護應用程式的最佳實踐，並示範 BigDL PPML 在加速這些應用程式開發上的重要角色。Intel 與阿里雲將繼續發揚成果，進一步創新及實踐端對端隱私保護，協助使用者實現更安全的資料融合，並加速發掘資料價值。

下載 PDF ›