克服 AI 部署的挑戰
企業組織爭相搶先部署全新的 AI 增強功能，以利在競爭中脫穎而出，將盈利能力和效率發揮到極致，並提升客戶體驗。
但正如許多解決方案架構師、開發者與技術領導者所發現的那樣，將企業 AI 專案從概念驗證導入生產的這條路並不好走。企業在整個歷程中面臨重重難關，包括建構可擴充、大小合適的 AI 基礎架構、保護隱私和安全性，以及盡量縮短解決方案的開發時間。
為了協助您克服這些挑戰並避開其他新興的 AI 陷阱，本文分享建置建構企業 AI 解決方案的基本考量、深入解析和秘訣。我們也會將重點聚焦在數款有助於提升成果的 Intel® 軟硬體。
無論您是從頭開始建構、利用預先建構的元件打造解決方案，還是購買現成的產品，都可以參考以下簡化企業 AI 工作的方法。
沒必要的話，就不要投資專用硬體
許多技術專家有所誤解，以為 AI 工作負載需要 GPU 或專門的獨立 AI 加速器。簡言之，這不是事實。這種錯誤的觀念可能讓組織以為必須進行大量硬體投資才能啟用 AI，又認為 AI 計畫對業務來說成本太高。
例如，獨立加速器通常無法為傳統機器學習工作負載帶來多少好處，因此 CPU 成為邏輯迴歸、決策樹和線性迴歸等演算法的高效選擇。
在針對 GPU 等進階設備投資之前，請務必調查工作負載的實際需求。您也許可以使用 Intel® Xeon® 可擴充處理器支援資料中心和邊緣的 AI 工作負載。這些處理器搭載內建的 AI 引擎，可讓您大幅加速訓練和推斷的 AI 工作負載。
Intel® Xeon® 可擴充處理器內含兩個 AI 引擎，可讓您使用 CPU 獨有的架構發揮強大的 AI 效能：
- Intel® Advanced Matrix Extensions（Intel® AMX）：最大限度地提高仰賴矩陣數學的深度學習訓練與推斷工作負載的效能，包括自然語言處理、推薦系統和影像辨識。
- Intel® Advanced Vector Extensions 512（Intel® AVX-512）：加速 AI、分析、科學模擬、金融模擬和其他涉及向量型運算的運算密集型任務。
僅在 Intel® Xeon® 可擴充處理器上執行 AI 工作負載，可協助企業節省硬體成本，同時提升能源效率。同時，開發者可以免除錯綜複雜的專用硬體，並將程式碼或應用程式變更的需求降至最低。您的組織可能已投資 Intel® Xeon® 可擴充處理器，因此採用 AI 更是勢在必行的選擇。
Intel 提供全方位的極致效能 AI 解決方案，但我們建議大多數的公司從 Intel® Xeon® 可擴充處理器著手。從邊緣到雲端都可以使用，協助將企業的 AI 工作發揮到極致。
Intel 也與 RedHat 和 VMware 等大型企業基礎架構平台供應商合作，徹底提升 AI 的靈活性和效率，同時加速邊緣到雲端的效能。
對於繁重的工作負載，要能超越 H100 思考
雖然 Intel® Xeon® 可擴充處理器可處理低、中複雜度的任務，但您的使用案例可能涉及繁重的工作負載，需要額外的一層專用硬體。如果 AI 使用案例要求嚴苛，則需要強大的獨立加速器，通常採用 GPU 或專門打造的 AI 處理器的形式。
當然，效能和效率是關鍵所在，相較於競爭對手，Intel® 技術提供強大的優勢。舉例來說，Intel® Gaudi 3 AI 加速器提供：
- 相較於 NV H100，訓練時間平均快上 1.5 倍1
- 相較於 NV H100，平均推斷速度快上 1.5 倍2
- 相較於 NV H100，推斷電源效率平均快上 1.4 倍3
您可以在這裡檢視 Intel® AI 資料中心產品的深入效能統計資料。
軟體工具是 AI 的秘密武器
無論您是從頭開始建構 AI 解決方案，還是想用一套預先建構的元素打造解決方案，您都可能意識到 AI 的軟體開發和模型訓練元素與硬體一樣重要。致力支援大多數企業 AI 計畫將涉及的異質架構時，這一點尤其重要。
為了協助您加速實現價值，Intel 提供各種專門打造的軟體工具、參考套件、最佳化架構和資料庫，以及預先建置的解決方案元素。您可以利用我們的 AI 開發資源提升開發者的生產力、最佳化效能，並提高 AI 功能的部署靈活性。
我們提供各種工具，可對您的企業 AI 計畫產生重大影響，包括：
- OpenVINO™ 工具組可大幅簡化 AI 推斷部署，只需編寫一次，即可在任何地方部署功能。
- Intel 的 AI 工具（前身為 Intel® AI Analytics Toolkit）向資料科學家、AI 開發者和研究人員提供熟悉的 Python 工具和框架，加速 Intel® 架構上的端對端資料科學與分析管道。
- 嵌入式 AI 框架最佳化，有助於以最少的努力實現熱門深度學習與機器學習框架的效能提升。
此外，我們為關鍵企業 AI 使用案例提供一套強大的訓練與參考套件：
請務必查看我們與 Accenture 合作打造的全套 AI 參考套件。
除了提供強大的軟體工具組合，Intel 也在 Linux Foundation Open Platform for Enterprise AI（OPEA）中扮演重要的角色。我們在此協助開發一個生態系統協調架構，高效整合生成式 AI 技術與工作流程，透過協作開發更快採用並帶來更高的商業價值。我們的貢獻包括一套採用以下框架的參考實作：
- 利用 Intel® Xeon® 可擴充處理器和 Intel® Gaudi® AI 加速器的聊天機器人
- 使用 Intel® Gaudi® AI 加速器進行文件摘要
- 利用 Intel® Gaudi® AI 加速器的視覺回答問題（VQA）
- 利用 Intel® Gaudi® AI 加速器、專為使用 Visual Studio Code 產生程式碼所設計的 Copilot
自訂基礎模型，加速您的計畫
每個 AI 使用案例都是獨一無二的，且許多需要一定程度的模型訓練。好消息是，您不必從零開始。
開放原始碼模型（又稱基礎模型）為您的 AI 功能提供起點。這款模型可自訂及微調，滿足您 AI 解決方案的特定需求。整體而言，微調基礎模型的過程比從頭建構更簡單、更快捷。微調的方法可為您在與對手競逐時節省寶貴的時間。
Intel® Xeon® 可擴充處理器是模型微調的絕佳平台，可讓 AI 開發者：
- 利用內建的 Intel® Advanced Matrix Extension（Intel® AMX）加速器，實現高達 10 倍的 PyTorch 即時推斷與訓練效能4。
- 在不到四分鐘內微調 DistilBERT 等自然語言處理（NLP）模型，可減少或消除對專用加速器的需求。5
- 結合深度學習最佳化套件 DeepSpeed，減少在 Llama 2 大型語言模型（LLM）上提示延遲的情況。
主要 AI 使用案例中需要瞭解的常見基礎模型包括：
進一步瞭解自訂開放原始碼模型（又稱轉移學習）的過程。請務必查看我們與 Hugging Face 合作打造的開發者資源。
利用檢索增強生成加速生成 AI 模型自訂
追求生成式 AI 應用的人也可以利用 RAG，實現更迅捷的 AI 價值之路。
在 RAG 方法中，基礎大型語言模型與知識庫（通常是公司特定的專有資料）相連，以注入相關的情境和資訊。採用這種方法可實現自訂的 AI 功能，同時免除額外的模型訓練需求，進而降低計畫的整體成本和複雜性。
把專家變成資料科學家
利用團隊的專業知識並將其轉化為智慧 AI 功能，對許多企業組織而言是一大挑戰；倘若您的團隊不具備技術背景或不熟悉資料科學，則更是如此。
對於電腦視覺應用，Intel 提供 Intel® Geti 平台，對非資料科學家而言，這更易於訓練模型。Intel® Geti 平台易於標註與註釋，讓您輕鬆地利用團隊的專業知識，打造更佳、更準確的電腦視覺解決方案。全面支援模型輸出、重新訓練與超參數最佳化，代表您可以將 Intel® Geti 平台作為端對端解決方案，用於異常偵測、分類與物件偵測等重要的電腦視覺使用案例。
應用機密運算鎮守安全並遵循法規
對於在新 AI 時代開疆闢土的企業而言，鎮守安全及遵循法規是兩大難題，在模型訓練期間需要整合多組敏感資料時更是如此。
為了協助您保護敏感資料與工作負載，無論它們在哪裡執行，Intel 都提供一套機密運算功能，作為 Intel® Xeon® 可擴充處理器的關鍵功能。這些技術旨在保護使用中的資料，具有隔離、加密和控制以及驗證功能，協助您開啟新的企業 AI 機會。
我們的機密運算產品組合包括：
- Intel® Software Guard Extensions（Intel® SGX）能為商業協作和深入解析開闢新的機會，即使針對敏感或受監管的資料也一樣。
- Intel® Trust Domain Extensions（Intel® TDX）可提升 VM 層級的機密性、加強隱私並獲得對資料的掌控。
- Intel® Tiber™ 信任服務（前身為 Intel® Trust Authority）： 採用零信任驗證 SaaS 將機密運算提升至全新境界，該 SaaS 可驗證網路、邊緣和雲端中運算素材的可信度。
評估您的終端使用者 AI 電腦設備
如果您的 AI 使用案例涉及組織內的終端使用者在本機執行 AI 工作負載，則必須評估設備的 AI 準備情況。AI 工作負載為團隊日常使用的筆記型電腦和桌上型電腦帶來了新的需求，而這些機器的低劣效能可能會影響您對 AI 功能的上游投資。
為了協助簡化您對 AI 電腦的投資，我們提供 Intel® Core™ Ultra 處理器，將三個不同的運算引擎整合至單一套件，為終端使用者全面提升 AI 效能。其中包括整合式神經處理器，可以低功耗處理持續、大量使用的 AI 工作負載，實現更高的效率。Intel 也與 100 多家的 ISV 夥伴合作，開發 300 多種 AI 加速功能，提升音訊效果、內容創作、遊戲、安全性、串流、影片協作等電腦體驗。
透過 Intel 讓 AI 無所不在
透過 AI 功能實現企業創新的壓力愈來愈大。Intel 現已摩拳擦掌，要助您快速高效地實現目標。我們持續與業界首屈一指的企業組織合作，協助他們以最高的效率、效能和安全性釋放所需的 AI 功能。
我們也與企業所仰賴的 ISV、OEM、SI、AI 專家和雲端供應商合作，協助其落實 AI 轉型。我們的可擴充系統策略建立在 Intel 和生態系統夥伴的元件之上，可讓企業輕鬆採用 AI。選擇我們的平台時，您會受益於多年的實務經驗，讓全球創新組織實現 AI。我們既深且廣的夥伴生態系統可確保為您帶來現今及往後實現 AI 成果所需的開放性和互通性。
繼續探索 AI 的可能性時，請記住，您和團隊可以使用 Intel® Tiber® Developer Cloud 嘗試本文中討論的許多 Intel® 技術。
您也可以在 Intel® Partner Showcase 瀏覽我們的 AI 夥伴生態系統。