Intel® Gaudi® 2 AI 加速器
適用於 GenAI 與 LLM 的高效能加速。
Intel® Gaudi® 2 AI 加速器
我們的 Intel® Gaudi® 2 AI 加速器正在推動改善深度學習的性價比
提供訓練與執行最先進模型的作業效率，包括最大的語言與多模式模型，以及更基本的電腦視覺與 NLP 模型。Intel Gaudi 2 加速器專為高效的可擴充性而設計，無論是在雲端還是資料中心，都比以往更能為 AI 產業帶來所需的選擇。
Intel® Gaudi® 2 架構特性：
建構在久經驗證的第一代 Intel Gaudi 設計基礎。
- 7nm 製程技術
- 異質運算
- 24 Tensor 處理器核心
- 雙矩陣乘法引擎
- 晶片上整合 24 100 Gigabit 乙太網路
- 板載 96 GB HBM2E 記憶體
- 48 MB SRAM
- 整合式媒體控制
Intel® Gaudi® 2 AI 加速器仍然是 Nvidia H100 Gen AI 效能的唯一評測基準替代方案
根據分別於 2023 年 12 月和 2024 年 3 月發佈的最新 MLPerf 訓練 3.1 和推斷 4.0 基準，Intel Gaudi 2 加速器仍然是 Nvidia H100 的唯一評測基準替代方案。
除了 MLPerf 產業評測基準，Intel Gaudi 2 AI 加速器也在其他第三方評估中得到高分。1
Intel® Gaudi® 2 AI 加速器支援大規模、靈活的橫向擴展
使用將 24 個 100 Gigabit 乙太網路（RoCEv2）連接埠整合至每部 Intel Gaudi 2 AI 加速器，客戶便能從靈活且符合成本效益的可擴充性中受益，將 Intel Gaudi 2 AI 加速器的效能從一個擴展到數千個加速器。
請參考下圖，瞭解搭載 8 個 Intel Gaudi 2 加速器的伺服器參考設計。
如需利用 Intel Gaudi 2 AI 加速器建立系統規模的詳細資訊，請查看我們的網路頁面 ›
精選合作夥伴
Cisco Nexus 9364D-GX2A 交換器符合資格，可連接 Intel Gaudi 2 加速器，從而建立用於執行大型語言模型（LLM）訓練、推斷或類似生成式 AI 工作負載的擴充型網路。
在 Intel Gaudi 2 AI 加速器上輕鬆建置全新模型或移轉現有模型
Intel Gaudi 軟體專為 Intel Gaudi 平台效能和易用性進行最佳化，為開發者提供文件、工具、操作方式內容和參考模型，協助他們快速輕鬆地使用 Intel Gaudi 軟體。
使用在 Hugging Face 中心上的 Habana Optimum Library，存取並輕鬆執行超過 50 多萬個模型。
如需詳細資訊，請查看我們的開發者網站 ›