使用 Cisco UCS / 第 5 代與第 4 代 Intel Xeon 處理器進行生成式 AI 推斷作業

描述

Cisco UCS 搭載第 5 代 Intel® Xeon® 處理器和 Cisco Nexus，是大規模部署生成式 AI 的可擴充基礎。此架構提供：

• 最佳性能： 搭載 Intel Xeon 可擴充處理器的 Cisco UCS 搭配專門的 AI 加速器和優化的軟體架構，可大幅提升推斷效能與可擴充性。
• 平衡的架構： Cisco UCS 在深度學習和非深度學習運算方面都表現出色，這對整個推斷管道至關重要。這種平衡的方法可以帶來更好的整體性能和資源利用率。
• 按需擴展： Cisco UCS 可根據您的生成式 AI 推斷需求無縫擴充。使用 Cisco Intersight 隨著模型的發展和工作負載的增長，以自動化的方式添加或刪除伺服器、調整記憶體容量和配置資源。

您可以選擇使用模組化或機架外型規格，在資料中心或邊緣執行推斷。