Intel Optane Persistent Memory 驅動 DAOS: 創新儲存解決方案
目錄
- 導言 🌟
- 傳統儲存架構的延遲問題 😞
- Intel Optane Persistent Memory 的新特點 🆕
- Intel Optane Persistent Memory 的優勢和劣勢 👍👎
- Intel Optane Persistent Memory 創造的基本改變 🔄
- Intel Optane Persistent Memory 在文件系統性能方面的應用 🚀
- 應用中的大型块 I/O 📦
- Intel Optane Persistent Memory 在 HPC 中的應用案例 🌐
- 未來的發展前景 🌈
- 結論 🎉
導言 🌟
嗨大家好!我是 Kelsey Prantis,擔任 Intel 的工程經理,負責開發一個名為 Deus 的全新軟體堆疊。今天,我很高興和大家分享一下我們如何利用 Intel Optane Persistent Memory 解決存儲技術面臨的一些瓶頸問題。
傳統儲存架構的延遲問題 😞
傳統的儲存架構在訪問存儲數據時面臨兩種延遲:傳統媒體延遲和文件系統延遲。傳統媒體延遲是由 NVMe SSD 或 HDD 設備引起的,而文件系統延遲則是建立在其之上的。目前存在的大部分延遲是由於我們所謂的塊界面引起的。當我們的應用程序數據需要存儲時,這些數據需要經歷一個過程,即首先將結構化數據序列化為一系列塊(block),然後將這些塊寫入底層媒體。然而,當需要寫入任何小型 I/O(無論是文件系統元數據還是小型 I/O)時,都可能造成性能問題。在傳統的 POSIX 數據存儲中,一個媒體塊中實際上存儲了多個數據片段。當您擁有多個計算節點(在共享存儲中)試圖訪問同一個塊中的數據時,軟體實際上需要鎖定該塊的訪問,並序列化這兩個活動和客戶端的訪問。在整個集群中進行數百萬次這樣的操作實際上創造了一個非常明顯的性能瓶頸,限制了當前 I/O 類型的性能。然而,使用 Intel Optane Persistent Memory,我們終於有了一種既持久又可實現位址訪問的媒體,這讓我們對當今的儲存架構進行了一些根本性的改變,以利用這一優勢提供更好的性能。
Intel Optane Persistent Memory 的新特點 🆕
Intel Optane Persistent Memory 為儲存市場帶來了一項新的重要功能。在過去,我們所有的 SSD 和 HDD 都是基於塊的 I/O,並受到相同的瓶頸所限制。但是,有了 Intel Optane Persistent Memory,我們終於有了一種同時具有持久性和位址訪問的媒體。這樣一來,我們就可以對當今的儲存架構進行一些真正的基本改變,以利用這一新功能所帶來的更高性能水準。
在持續性存儲和位址訪問的基礎上,我們構建了一個新的軟體堆疊,它不再受到塊為基礎的 I/O 的限制,並且完全在用戶空間中進行寫入。Deus 將一系列接口選項呈現給終端用戶,例如傳統的 POSIX 接口、鍵值接口以及其他中間件和應用程序框架,這些接口可以直接與 Deus 作為後端通信。Deus 將所有這些小型 I/O 和元數據 I/O 存儲在 Intel Optane Persistent Memory 中,不同的客戶端可以通過位址訪問這些數據片段,這些動作現在可以並行進行,而不是串行進行。所有較大的塊友好型 I/O 仍然將傳輸到 NVMe SSD,而 Deus 則使其對終端用戶透明化。這種架構之所以可能,完全是基於持久性記憶體帶給我們的新硬體功能。
Intel Optane Oersistent Memory 的優勢和劣勢 👍👎
優勢:
- 提供持久性和位址訪問的媒體
- 允許進行基本的儲存架構改變
- 提供更高的性能水準
- 例如,在文件系統性能測試中創造了新的世界紀錄
劣勢:
- 硬體成本可能相對較高
- 對於某些應用場景可能不太適用
Intel Optane Persistent Memory 創造的基本改變 🔄
Intel Optane Persistent Memory 的出現為儲存技術帶來了一個基本上的改變。傳統上,儲存數據都是以塊為單位進行操作,這種方式受到了一些限制。然而,有了 Intel Optane Persistent Memory,我們可以實現位址訪問,並且能夠以更高效的方式進行寫入和讀取操作。這種改變讓我們能夠突破以往的限制,提供更好的性能和更靈活的儲存解決方案。
Intel Optane Persistent Memory 在文件系統性能方面的應用 🚀
Intel Optane Persistent Memory 在文件系統性能方面的應用非常引人注目。由於其持久性和位址訪問的特點,它能夠大大提升儲存系統的效能。特別是在處理元數據和小型 I/O 方面,由於克服了塊界面的限制,我們能夠實現更低的延遲和更高的效能。這種改進讓我們能夠更好地滿足當前和未來大數據應用的需求。
應用中的大型块 I/O 📦
在使用 Intel Optane Persistent Memory 時,我們仍然可以利用傳統的 NVMe SSD 進行大型塊 I/O。當處理較大的 I/O 時,我們可以繼續使用傳統的塊界面,而不受新技術的影響。這樣一來,我們可以兼顧存儲系統的性能和靈活性,更好地滿足不同應用場景的需求。
Intel Optane Persistent Memory 在 HPC 中的應用案例 🌐
在高性能計算 (HPC) 領域,Intel Optane Persistent Memory 的應用已經取得了驚人的成就。最近,我們在 ISC (International Supercomputing Conference) 提交了一個在我們的測試實驗室中執行的案例。儘管這只是一個相對較小的系統,擁有約 30 台服務器和約 52 個客戶端,且客戶端數量甚至無法飽和伺服器,但我們已經在這個系統上成功地打破了文件系統性能的世界紀錄,超越了當今世界上一些最強大的超級計算機。這一成就的實現源於 Intel Optane Persistent Memory 的出色性能,以及我們的儲存架構所帶來的革命性改變。這一應用案例的成功展示了 Intel Optane Persistent Memory 在 HPC 領域中的潛力。
未來的發展前景 🌈
對於 Intel Optane Persistent Memory 的未來,我們感到非常興奮。除了目前已經取得的成就之外,我們期待著下一代持久性記憶體所帶來的更多創新。我們最近有機會在新的平台上對 Deus 進行了性能測試,並且在未做任何優化或調整的情況下,僅通過插入新硬體,性能已經有了顯著提升。這些測試結果顯示了透過更優異的硬體帶來的性能差異。這讓我們非常興奮,並且期待著未來能夠更深入探索這種新硬體所能帶來的改變。
結論 🎉
Intel Optane Persistent Memory 真正為儲存技術帶來了一個全新的範式。通過提供持久性和位址訪問的功能,這種新型媒體能夠改變我們以往對儲存系統的看法。它帶來更好的性能水準,並提供了更靈活的儲存解決方案。在不久的將來,我們相信 Intel Optane Persistent Memory 將在各個領域發揮更大的影響力,為我們帶來更好的數據存儲和處理體驗。
此文章參考了以下資源: