Alibaba Cloud 加速 AI 應用

Analytics Zoo 與 bfloat16 透過第七代 Alibaba Cloud ECS 執行個體，改善 AI 應用程式的效能。

概覽：

  • 第七代 Alibaba Cloud 高頻率 ECS 執行個體，採用第三代 X-Dragon Architecture 與第 3 代 Intel® Xeon® 可擴充處理器。

  • 第 3 代 Intel Xeon 可擴充處理器採用強化的 Intel® Deep Learning Boost (Intel® DL Boost)，透過這項內建人工智慧（AI）加速功能，締造領先業界的工作負載最佳化平台。強化的 Intel DL Boost 為 bfloat16 提供業界首創的 x86 支援，讓 AI 推論與訓練效能更強大。

下載一頁摘要
author-image

作者

PDF

執行概覽

這份報告說明如何使用 Analytics Zoo 與 Brain Floating Point 16-bit (bfloat16)，改善在第七代 Alibaba Cloud Elastic Compute Service (ECS) 執行個體人工智慧（AI）應用程式的效能。

第七代 Alibaba Cloud ECS 執行個體搭載第 3 代 Intel® Xeon® 可擴充處理器，提供 bfloat16 支援。

第 3 代 Intel Xeon 可擴充處理器可處理複雜的 AI 工作負載。第 3 代 Intel Xeon 可擴充處理器採用強化的 Intel DL Boost，可提供高達 1.93 倍的 AI 訓練效能1 影像分類 AI 推論效能高達 1.87 倍2 自然語言處理（NLP）的 AI 效能高達 1.7 倍、3 相較於前幾代處理器，NLP 的 AI 推論效能高達 1.9 倍。4 各個產業類別，例如醫療保健、金融業與零售業的許多 AI 訓練工作負載，皆可受惠於這些處理器提供的 bfloat16 支援。

閱讀這份白皮書 - 利用 Analytics Zoo 與 Bfloat16 在 Alibaba Cloud 加速 AI 應用程式。

進一步探索相關產品與解決方案

Intel® Xeon® 可擴充處理器

透過 Intel® Xeon® 可擴充處理器，推動能化為具體行動的深刻見解、仰賴以硬體為基礎的安全性，以及部署動態服務交付。

進一步瞭解

Analytics Zoo

利用數千個分散式訓練或推論用節點，將 AI 模型順暢擴充為大型資料叢集。

進一步瞭解

Intel® Deep Learning Boost

Intel® Xeon® 可擴充處理器採用 Intel® Deep Learning Boost，讓嵌入式 AI 效能更上層樓。

進一步瞭解

顯示更多 顯示較少

客戶故事和個案研究

探索最新客戶故事、個案研究和新聞稿，聚焦以資料為中心的創新。

資料中心工作負載

瞭解 Intel® 技術如何為高需求工作負載和應用程式提供必要的擴充性。

資料中心深入分析

取得 Intel 資料中心效能、彈性和擴充性的最新資訊。

產品與效能資訊

1相較於搭配 ResNet-50 影像分類處理量的前一代處理器，支援 Intel DL Boost 搭配 BF16 的第 3 代 Intel Xeon 可擴充處理器，AI 訓練效能最高達 1.93 倍。新配置：1 個節點、4 x 第 3 代 Intel Xeon Platinum 8380H 處理器（正式生產前 28 個核心，250 W）搭載總記憶體 384 GB（24 x 16 GB，3,200 GHz）、800 GB Intel 固態硬碟 ResNet-50 v1.5、ucode 0x700001b、開啟 Intel 超執行緒技術、開啟 Intel 渦輪加速技術，以及執行 Ubuntu 20.04 LTS、Linux 5.4.0-26,28,29-generic。處理量：https://github.com/Intel-tensorflow/tensorflow -b bf16/base, commit#828738642769358b388d8f615ded9c213f10c99a，Model Zoo：https://github.com/IntelAI/models -b v1.6.1，ImageNet 資料集、oneDNN 1.4、BF16、BS=512、由 Intel 在 2020 年 5 月 18 日進行測試。基本配置：1 個節點、4 x Intel Xeon Platinum 8280 處理器搭載 768 GB 總記憶體（24 x 32 GB、2,933 GHz）、800 GB Intel 固態硬碟、ucode 0x4002f00、開啟 Intel 超執行緒技術、開啟 Intel 渦輪加速技術、搭載 Ubuntu 20.04 LTS、Linux 5.4.0-26,28,29-generic、ResNet-50 v1.5。處理量：https://github.com/Intel-tensorflow/tensorflow -b bf16/base, commit#828738642760358b388d8f615ded0c213f10c99a，Model Zoo：https://github.com/intelai/models -b v1.6.1、ImageNet 資料集、oneDNN 1.4、FP32、BS=512、由 Intel 於 2020 年 5 月 18 日進行測試。
2相較於在 ResNet-50 使用 FP32 影像分類處理量的前一代處理器，支援 Intel DL Boost 的第 3 代 Intel Xeon 可擴充處理器，AI 推論效能高達 1.87 倍。新配置：1 個節點、4 x 第 3 代 Intel Xeon Platinum 8380H 處理器（正式生產前、28 個核心、250 W）搭載 384 GB 總記憶體（24 x 16 GB，3,200 GHz）、800 GB Intel 固態硬碟、ucode 0x700001b、開啟 Intel 超執行緒技術、開啟 Intel 渦輪加速技術搭配 Ubuntu 20.04 LTS、Linux 5.4.0-26,28,29-generic、ResNet-50 v1.5。處理量：https://github.com/Intel-tensorflow/tensorflow -b bf16/base, commit#828738642760358b388e8r615ded0c213f10c99a，Model Zoo：https://github.com/IntelAI/models -b v1.6.1、ImageNet 資料集、oneDNN 1.4、BF16、BS=56、5 個執行個體、28 個核心/執行個體，由 Intel 於 2020 年 5 月 18 日進行測試。基本配置：1 個節點、4 x Intel Xeon Platinum 8280 處理器搭載 768 GB 總記憶體（24 x 32 GB、2,933 GHz）、800 GB Intel 固態硬碟、ucode 0x4002f00、開啟 Intel 超執行緒技術、開啟 Intel 渦輪加速技術、搭載 Ubuntu 20.04 LTS、Linux 5.4.0-26,28,29-generic、ResNet-50 v1.5。處理量：https://github.com/Intel-tensorflow/tensorflow -b bf16/base, commit#828738642760358b388d8f615ded0c213f10c99a，Model Zoo：https://github.com/IntelAI/models -b v1.6.1、ImageNet 資料集、oneDNN 1.5、FP32、BS=56、4 個執行個體、28 個核心/執行個體、由 Intel 於 2020 年 5 月 18 日進行測試。
3自然語言處理期間，相較於在 BERT 的前一代處理器，支援 Intel DL Boost 搭配 BF16 的第 3 代 Intel Xeon 可擴充處理器，AI 訓練效能高達 1.7 倍。新配置：1 個節點、4 x 第 3 代 Intel Xeon Platinum 8380H 處理器（正式生產前、28 個核心、250 W）搭載 384 GB 總記憶體（24 x 16 GB，3,200 GHz）、800 GB Intel 固態硬碟、ucode 0x700001b、開啟 Intel 超執行緒技術、開啟 Intel 渦輪加速技術搭配 Ubuntu 20.04 LTS、Linux 5.4.0-26,28,29-generic、BERT-Large (QA)。處理量：https://github.com/Intel-tensorflow/tensorflow -b bf16/base, commit#828738642760358b388e8r615ded0c213f10c99a，Model Zoo：https://github.com/IntelAI/models -b v1.6.1、Squad 1.1 資料集、oneDNN 1.4、BF16、BS=12，由 Intel 在 2020 年 5 月 18 日進行測試。基本配置：1 個節點、4 x Intel Xeon Platinum 8280 處理器搭載 768 GB 總記憶體（24 x 32 GB、2,933 GHz）、800 GB Intel 固態硬碟、ucode 0x4002f00、開啟 Intel 超執行緒技術、開啟 Intel 渦輪加速技術、搭載 Ubuntu 20.04 LTS、Linux 5.4.0-26,28,29-generic、BERT-Large (QA)。處理量：https://github.com/Intel-tensorflow/tensorflow -b bf16/base, commit#828738642760358b388d8f615ded0c213f10c99a，Model Zoo：https://github.com/IntelAI/models -b v1.6.1，Squad 1.1 資料集、oneDNN 1.5,FP32、BS=12、由 Intel 於 2020 年 5 月 18 日進行測試。
4相較於採用 FP32 的處理器，支援 Intel DL Boost 搭配 BF16 的第 3 代 Intel Xeon 可擴充處理器，自然語言處理的 BERT 處理量高達 1.9 倍。新配置：1 個節點、4 x 第 3 代 Intel Xeon Platinum 8380H 處理器（正式生產前、28 個核心、250 W）搭載 384 GB 總記憶體（24 x 16 GB，3,200 GHz）、800 GB Intel 固態硬碟、ucode 0x700001b、開啟 Intel 超執行緒技術、開啟 Intel 渦輪加速技術搭配 Ubuntu 20.04 LTS、Linux 5.4.0-26,28,29-generic、BERT-Large (QA)。處理量：https://github.com/Intel-tensorflow/tensorflow -b bf16/base, commit#828738642760358b388e8r615ded0c213f10c99a，Model Zoo：https://github.com/IntelAI/models -b v1.6.1、Squad 1.1 資料集、oneDNN 1.4、BF16、BS=32、4 個執行個體、28 個核心/執行個體，由 Intel 於 2020 年 5 月 18 日進行測試。基本配置：1 個節點、4 x Intel Xeon Platinum 8280 處理器搭載 768 GB 總記憶體（24 x 32 GB、2,933 GHz）、800 GB Intel 固態硬碟、ucode 0x4002f00、開啟 Intel 超執行緒技術、開啟 Intel 渦輪加速技術、搭載 Ubuntu 20.04 LTS、Linux 5.4.0-26,28,29-generic、BERTLarge (QA)。處理量：https://github.com/Intel-tensorflow/tensorflow -b bf16/base, commit#828738642760358b388d8f615ded0c213f10c99a，Model Zoo：https://github.com/IntelAI/models -b v1.6.1，Squad 1.1 資料集、oneDNN 1.5、FP32、BS=32、4 個執行個體、28 個核心/執行個體，由 Intel 於 2020 年 5 月 18 日進行測試。