絕佳的AI伺服器盒拆解：Dell PowerEdge XE9680

目錄

1. 介紹
2. 規格
3. 前方規格
   • 支援的NVMe Gen4硬碟
   • 支援的PCIe Gen5插槽
   • 連接到PSB的PCIe插槽
   • 支援的SXM GPUs
4. 上方規格
   • Intel Xeon可擴展處理器和DDR5 DIMMs
   • 電源分佈單元和OCp插槽
   • iDRAC和USB/VGA埠
5. M.2 NVMe驅動器和FORU模塊
6. Nvidia八路核心板
   • GPU散熱片
   • Envy交換機
   • GPU之間的連接
   • PCIe和電源連接
7. 應用領域
   • 自然語言處理
   • 物體檢測
8. A100和H100版本的比較
9. ML Perf基準測試
10. 資訊鏈接

介紹

歡迎來到戴爾總部的客戶解決中心！我是Mike，這是Pallavi。我們在這裡來和你討論PowerEdge XC9680的詳細資料。Pallavi，你可以告訴我們關於這個伺服器的一些信息嗎？

當然沒問題！XC9680是一個6U 2插槽的完全空氣冷卻平台，配備HDX H100 8路SXM GPU或Nvidia HDX A3 E100 SXM GPU。

規格

讓我們從前方規格開始，逐步介紹XC9680的技術特點。

前方規格

在頂部，我們支援8個U.2 NVMe Gen4硬碟，在底部，我們支援高達10個PCIe Gen5 x16插槽。這些PCIe插槽被分為多個組，每個組背後都有一個PCIe交換板（PSB）。這些PCIe插槽直接連接到PSB，而8個SXM GPU也連接到這些交換板上。硬碟也連接到PSB板上。這使得我們能夠在不經過CPU的情況下，從PCIe插槽上的GPU直接存取本地存儲，這正是Gen 5 PCIe交換架構所實現的功能。

上方規格方面，我們擁有兩個英特爾Xeon可擴展處理器，以及32個DDR5 DIMM插槽。根據所需的工作負載，您可以選擇安裝16個或32個DIMMs。每個通道可以安裝一個DIMM，最高支援16通道。請注意，如果您要運行的工作負載需要更多的內存，您可以使用32個DIMM插槽。

在主機板上方，有一個電源分佈單元（PDU）。此外，我們還提供了可選的警報和OCP插槽，以及iDRAC、USB和VGA埠。這些功能使XC9680成為一個集成了Dell安全管理的R760平台。

現在讓我們看看中間的部分。這是BOSS N1 M.2 NVMe固態硬碟，您可以在這里設置RAID 1，將操作系統安裝在上面，並使用其他硬碟來提高性能。下方則是FORU模塊，擁有10個風扇，用於冷卻8個A100或H100 SXM GPU。如果您拆下這些風扇，您就可以拆下GPU插槽。

好的，我們已經介紹了硬件方面的內容，現在讓我們轉移到工作負載方面。我們要請Liz加入我們，她是我們在性能基準測試和工作負載知識方面的專家。

🚀 應用領域

嗨Liz！我們這里有8個H100 GPU，每個GPU擁有80GB內存，總計640GB。人們通常用這樣的配置來處理什麼樣的工作負載？

嗯，這樣的配置可以處理各種需要大量訓練的工作負載，特別是自然語言處理。其中一個常見的工作負載是BERT，它是一種自然語言處理模型。

我知道ChatGPT也是一種類似的模型，它們都屬於Transformer模型，但Bert更注重理解人類對話，而ChatGPT則更像是在重複已經學到的信息。兩者都非常相似，但有一些細微差別。

我還經常聽到大型AI訓練的概念，除了自然語言處理，還有哪些適合這款伺服器的工作負載呢？

除了自然語言處理之外，另一個常見的工作負載是物體檢測。這可以應用於自動駕駛汽車等領域，通過選擇道路上的汽車、標識或行人等物體，進行實時檢測。

非常有趣！所以我們將在這個系統中提供A100和H100兩個版本的選擇，我想客戶根據需要選擇使用Transformer模型還是其他模型。

是的，這完全取決於客戶的需求。為了幫助客戶做出選擇，我們已經提交了A100和H100版本的系統進行了ML Perf基準測試，測試結果很快就會公布。

太棒了！您們實際上在實驗室裡進行測試，並為我們的戴爾系統搭配Nvidia進行基準測試，這真的很酷！非常感謝Liz，謝謝你的參與。

如果您需要更多信息，請前往dell.com。

Q&A

Q: XC9680有多少插槽可以連接NVMe Gen4硬碟？

A: XC9680支援8個U.2 NVMe Gen4硬碟。

Q: 這款伺服器支援的GPU有哪些特點？

A: XC9680支援HDX H100 8路SXM GPU或Nvidia HDX A3 E100 SXM GPU。

Q: XC9680的記憶體插槽數量和容量是多少？

A: XC9680擁有32個DDR5 DIMM插槽，每個插槽最高容量為32GB。

Q: 這款伺服器支援的PCIe Gen5插槽數量是多少？

A: XC9680支援高達10個PCIe Gen5 x16插槽。

Q: 可以在XC9680上運行哪些工作負載？

A: XC9680適用於各種工作負載，包括自然語言處理和物體檢測等。

Q: XC9680的價格如何？

A: 請訪問dell.com獲取價格信息。

Q: 我可以在XC9680上運行機器學習工作負載嗎？

A: 是的，XC9680適用於機器學習工作負載，並且支援Nvidia的HDX H100和A3 E100 SXM GPU。

Q: XC9680支援的操作系統有哪些？

A: XC9680支援多種操作系統，包括Windows Server、Red Hat Enterprise Linux、SUSE Linux Enterprise等。

Q: 有沒有選項可以擴展XC9680的存儲容量？

A: 是的，您可以通過添加更多的U.2 NVMe硬碟或擴展存儲插槽來擴展XC9680的存儲容量。

Q: XC9680適用於大型企業使用嗎？

A: 是的，XC9680是一款高性能的伺服器，非常適合大型企業使用。

Q: 我在XC9680上運行自然語言處理工作負載時，可以充分利用GPU的內存嗎？

A: 是的，XC9680的H100 GPU每個具有80GB的內存，這可用於處理大型自然語言處理模型。

結論

在本篇文章中，我們介紹了戴爾PowerEdge XC9680伺服器的詳細規格和功能優勢。XC9680擁有高性能的硬件配置，包括高速的PCIe Gen5插槽和大容量的GPU內存，使其成為處理機器學習和大數據工作負載的理想選擇。如果您需要更多信息，請前往dell.com。

資源:

• Dell官網