新聞重點：
- 英特爾宣布針對企業推出全方位AI策略，提供不同AI領域的開放、可擴充系統。
- 英特爾推出Intel ® Gaudi® 3 AI加速器，與Nvidia H100相比，推理能力平均提高50% 1 能源效率平均提高40% 2 ，以及更具競爭力的價格。
- 英特爾宣布Intel Gaudi 3提供給戴爾科技、慧與科技（HPE）、聯想和美超微等OEM夥伴，以擴大企業AI資料中心市場的產品組合。
- 宣布Intel Gaudi加速器的新客戶與合作夥伴，包括Bharti Airtel、Bosch、CtrlS、IBM、IFF、Landing AI、Ola、NAVER、NielsenIQ、Roboflow和Seekr。
- 英特爾宣布與SAP、RedHat、VMware和其他業界領導者攜手創建一個開放的企業AI平台，透過檢索增強生成（Retrieval-Augmented Generation，RAG）實現加速布署安全的生成式AI系統。
- 英特爾透過超乙太網聯盟（UEC）引領用於AI結構的開放式乙太網絡，並推出一系列經過AI最佳化的乙太網路解決方案，包含AI NIC（網路介面卡）和AI連接小晶片。
2024 年 4 月 10 日 – 在 英特爾 Vision 2024 客戶暨合作夥伴大會上，英特爾推出了Intel Gaudi 3加速器，為企業生成式AI帶來效能、開放性和選擇，並揭露新的開放式可擴充系統、下一代產品和策略合作，以加速生成式AI的採用。去年僅有10%的企業成功將生成式AI專案投入生產，英特爾的最新產品將解決企業在擴展AI計畫時所面臨的挑戰。
英特爾執行長Pat Gelsinger表示：「創新正在以前所未有的速度發展，且都需要晶片的助力，每家公司亦正迅速地轉型為AI公司。英特爾在企業的各層面實現『AI無所不在』，從PC、資料中心到邊緣應用。我們最新的Gaudi、Xeon和Core Ultra平台提供一套全面且彈性的解決方案，以滿足客戶與合作夥伴不斷改變的需求，並充分利用未來的龐大機會將其盈利化。」
更多資訊： Intel Vision 2024 （新聞資料袋） | Intel Vision 2024 Keynote （演說直播） | Intel Tackles the GenAI Gap with Gaudi 3 （新聞）
企業正在尋求將生成式AI從小規模試驗擴展到生產。透過基於高效能、能源效率、成本效益的處理器如Intel Gaudi 3 AI加速器，打造可用的解決方案，不僅可以解決複雜性、碎片化等問題，還符合資料安全性和法規要求。
推出用於 AI 訓練和推理的 Gaudi 3
Intel Gaudi 3 AI加速器將透過乙太網路通用標準，連接數萬個加速器，為AI系統提供支援。與前一代產品相比，Intel Gaudi 3將BF16的AI運算能力提高4倍，並將記憶體頻寬提高1.5倍。Intel Gaudi 3 AI加速器將為尋求大規模布署生成式AI的全球企業，帶來AI訓練和推理方面的重大躍進。
在具有70億和130億參數的Llama2模型及1750億參數的GPT-3模型上，預計Intel Gaudi 3的平均訓練時間將比Nvidia H100縮短50%。此外，在Llama 70億、700億參數以及Falcon 1800億參數模型中2 ，Intel Gaudi 3加速器的推理處理量，預計將比H100 平均高出 50%1，推理效能平均高出40%。
Intel Gaudi 3提供開放、基於社群的軟體和符合業界標準的乙太網路，讓企業能從單一節點彈性延伸到數千個節點的叢集、超級叢集和巨型叢集，支援最大規模的推理、微調和訓練。
Intel Gaudi 3將於2024年第二季開始提供給OEM廠商， 包括戴爾科技、慧與科技、聯想和美超微等。
英特爾AI解決方案為客戶創造價值
英特爾闡述針對開放、可擴充AI系統的策略，包括硬體、軟體、框架和工具。英特爾的方法為AI參與者建立廣大且開放的生態系，以提供符合企業特定生成式AI需求的解決方案，包括設備製造商、資料庫提供者、系統整合商、軟體和服務提供者等，並且讓企業得以運用熟悉並信任的生態系合作夥伴與解決方案。
在廣大的動能下，英特爾與各產業的企業客戶和合作夥伴共同為全新、創新的生成式AI應用布署Intel Gaudi加速器解決方案：
- NAVER： 開發強大的大型語言模型（LLM），在全球布署從雲端到裝置上的先進AI服務。NAVER已確認Intel Gaudi在執行大型Transformer模型運算作業方面的基礎能力，並且具有出色的每瓦效能。
- Bosch： 探索更多智慧製造的機會，包括基礎模型、產生製造異常的合成資料集，為自動光學檢查等應用提供強大、均勻分佈的訓練集。
- IBM：將第5代Intel® Xeon®處理器用於其watsonx.data™資料儲存，並與英特爾密切合作，驗證適用於Intel Gaudi加速器的watsonx™平台。
- Ola/Krutrim： 預訓練和微調第一個具有10種語言生成能力的印度基礎模型，提供相較於市場解決方案，業界領先的性價比。Krutrim目前正在 Intel Gaudi 叢集上，預先訓練一個更大的基礎模型。
- Advent International投資的公司NielsenIQ：透過在全球最大的消費者購買行為資料庫訓練特定領域的LLM，增強生成式AI能力並強化客戶服務產品，同時遵守嚴格的隱私標準。
- Seekr： 值得信賴的AI領域領導者，在Intel® Tiber™開發者雲端中，運用Intel Gaudi 2、Intel資料中心GPU Max Series和Intel Xeon處理器運行生產工作負載，以支援LLM開發和生產布署。
- IFF： 全球領先的食品、飲料、香味和生物科學公司，將利用生成式AI和數位分身技術，建立整合的數位生物學工作流程，以實現先進的酵素設計和發酵過程最佳化。
- CtrlS Group： 與其合作為印度客戶打造AI超級電腦，並透過額外的Gaudi叢集，擴展印度的CtrlS雲端服務。
- Bharti Airtel： 透過英特爾的先進技術，Airtel計畫運用豐富的電信數據，提升AI能力與客戶體驗。這些布署符合Airtel致力持續技術創新、並在快速發展的數據領域中推動新收入來源的承諾。
- Landing AI： 經過微調的特定領域大型視覺模型，用於細胞分割和癌症檢測。
- Roboflow： 為端對端電腦視覺平台，運行YOLOv5、YOLOv8、CLIP、SAM和ViT模型的生產工作負載。
- Infosys： 全球領先的下世代數據服務與諮詢公司，宣布展開策略合作，運用英特爾技術，包含第4代和第5代Intel Xeon處理器、Intel Gaudi 2 AI加速器、AI PC，為Infosys Topaz提供一套AI服務、解決方案和平台，利用生成式AI加速企業價值。
英特爾也宣布與Google Cloud、Thales和Cohesity合作，在其雲端執行案例中利用英特爾的機密運算功能，包括Intel® Trust Domain Extensions（Intel® TDX）、Intel® Software Guard Extensions（Intel® SGX）和英特爾的認證服務。客戶可以在受信任的執行環境（TEE）中運行AI模型和演算法，並利用英特爾的信任服務，獨立驗證TEE的可信任度。
生態系齊心協力開發企業AI開放平台
英特爾攜手Anyscale、DataStax、Domino、Hugging Face、KX Systems、MariaDB、MinIO、Qdrant、RedHat、Redis、SAP、SAS、VMware、Yellowbrick和Zilliz等合作夥伴，宣布為企業 AI 創建開放平台。這項業界合作計畫旨在開發開放、多供應商的生成式AI系統，透過檢索增強生成（RAG）實現一流的布署便利性、最佳效能和價值。RAG 使企業在標準雲端基礎上運行大量現有的專屬資料來源，並透過開放的LLM功能增強，進而加速企業中的生成式AI應用。
在最初階段，英特爾將在以安全的Xeon和Gaudi為基礎的解決方案上，釋出生成式AI流程（pipeline）的參考建置，發布技術概念框架，並繼續在Intel® Tiber™開發者雲端中增加基礎設施容量，以供生態系統開發、驗證RAG以及未來流程。英特爾鼓勵生態系統擴大參與此開放式計畫，以促進企業採用解決方案並加速業務成效。
英特爾延伸AI藍圖和開放生態系方法
除了Intel Gaudi 3加速器之外，英特爾也針對企業AI領域的下一代產品和服務發布最新消息。
全新 Intel® Xeon® 6 處理器： Intel Xeon處理器提供高效能解決方案以運作目前的生成式AI解決方案，包括使用專有資料產生特定業務結果的RAG。
- 具有E-cores的Intel Xeon 6處理器（先前代號Sierra Forest）：
- 與第2代Intel Xeon處理器相比，每瓦效能提高2.4倍 4 ，機架密度提高2.7倍 5 。
- 客戶可用接近3比1的比例將舊系統更換成新系統，大幅降低能源消耗，有助於實現永續發展目標6。
- 具有P-cores的Intel Xeon 6 處理器（先前代號Granite Rapids）：
- 納入MXFP4資料格式的軟體支援，與使用FP16的第4代Xeon處理器相比，可將下一個標記延遲最多降低6.5倍，並且能夠運行700億參數的 Llama-2 模型7。
客戶端、邊緣和連接： 英特爾宣布來自客戶端的最新動能，以及邊緣和連結方面的藍圖更新，包括：
- Intel® Core™ Ultra處理器正在為生產力、安全性和內容創作提供新功能，為企業PC換機潮提供巨大誘因。英特爾預計，AI PC在2024年的出貨量將達4,000萬台，並擁有超過230種、從超輕薄PC到手持遊戲裝置的設計。
- 下一代Intel® Core™ Ultra 用戶端處理器系列（代號 Lunar Lake）將於2024年推出，下一代AI PC平台操作的每秒兆次運算（TOPS）將超過100、神經處理單元（NPU）TOPS將超過45。
- 英特爾宣布Intel Core Ultra、Intel® Core™、Intel® Atom處理器和Intel® Arc™繪圖處理單元（GPU）系列產品，都將推出新型邊緣晶片，目標重點市場含零售、工業製造和醫療保健。所有英特爾邊緣AI產品組合新品將於本季上市，並將於今年獲得Intel® Tiber™ Edge平台的支援。
- 英特爾與超級乙太網聯盟（UEC）合作，引領AI結構的開放式乙太網絡，並推出一系列針對 AI 最佳化的乙太網路解決方案。這些創新旨在改造大規模AI結構的縱向、橫向擴展，能夠訓練和推理日益龐大的模型，每一代的規模都會擴大一個數量級。該產品線包括英特爾 AI NIC、整合納入XPU的AI連接小晶片、基於Gaudi的系統，以及一系列適用英特爾晶圓代工的軟硬體AI互連參考設計。
Intel Tiber商業解決方案組合
英特爾推出Intel Tiber商業解決方案組合，以簡化企業軟體和服務，包含生成式AI布署。
統一的體驗使企業客戶和開發人員更容易找到符合需求的解決方案，加速創新並釋放價值，且不會影響安全性、合規性或效能。客戶即日起可開始探索計劃於2024年第三季全面推出的Intel Tiber產品組合。請參考 intel.com/tiber，了解更多資訊。
英特爾在 Vision 2024發布的消息彰顯英特爾致力於為全球企業提供可用、開放且安全的AI的承諾。借助這些新的解決方案和合作計畫，英特爾將引領AI革命，為世界各地的企業釋放前所未有的價值。
1 NV H100 comparison based on https://nvidia.github.io/TensorRT-LLM/performance.html#h100-gpus-fp8 , March 28, 2024. Reported numbers are per GPU. Vs Intel® Gaudi® 3 projections for LLAMA2-7B, LLAMA2-70B & Falcon 180B projections. Results may vary.
2 NV H100 comparison based on https://nvidia.github.io/TensorRT-LLM/performance.html#h100-gpus-fp8 , March 28, 2024. Reported numbers are per GPU. Vs Intel® Gaudi® 3 projections for LLAMA2-7B, LLAMA2-70B & Falcon 180B. Power efficiency for both Nvidia and Gaudi 3 based on internal estimates. Results may vary.
3 NV H100 comparison based on: https://developer.nvidia.com/deep-learning-performance-training-inference/training, March 28, 2024. “Large Language Model” tab vs. Intel® Gaudi® 3 projections for LLAMA2-7B, LLAMA2-13B & GPT3-175B as of 3/28/2024. Results may vary.
4 Based on architectural projections as of Feb. 14, 2023, vs. prior generation platforms. Your results may vary.
5 Based on architectural projections as of Feb. 14, 2023, vs. prior generation platforms. Your results may vary.
6 Based on architectural projections as of Feb. 14, 2023, vs. prior generation platforms. Your results may vary.
7 See Vision 2024 section of intel.com/performanceindex for workloads and configurations. Results may vary.