第三代 Intel Xeon 可扩展处理器和 PMEM 200 系列提升 DAOS 性能
目录
- 引言
- 挑战:大规模Lustre可扩展性限制
- Posix接口的局限性
- 基于块的I/O的性能困境
- 存储硬件创新的必要性
- 解决方案:基于Intel Optane持久内存的Deos软件栈
- 持久内存与NVMe SSD的组合
- 数据一致性的优化策略
- 优化的存储媒体访问方式
- Intel Optane持久内存200系列的关键特性
- 随机操作的性能改进
- 基于第三代Intel Xeon可扩展处理器的新服务器平台设计
- 模块速度的改进
- 基于PCIE Gen4支持的I/O子系统
- 性能提升的衡量指标
- IOR和MD Test基准测试
- Deos在持久内存下的性能分析
- 示例演示及性能数据
- 与第二代Intel Xeon处理器的性能对比
- IOR Easy测试结果
- IOR Hard测试结果
- MD Test测试结果
- 结论
- 常见问题解答
引言
大规模的存储系统在现代科学、工程和企业领域中起着至关重要的作用。然而,传统的文件系统软件栈在面对大规模部署的挑战时显示出了性能扩展性的限制。随着存储介质技术的进步,特别是固态硬盘(SSD)技术的发展,这些限制主要来自文件系统软件栈本身,而不是存储介质技术。
挑战:大规模Lustre可扩展性限制
Posix接口的局限性
文件系统的一致性要求通常导致了悲观锁定的使用,这在大规模部署中会导致严重的串行化问题。尤其是在同时有成千上万个客户端向同一文件进行写操作时,锁定会导致严重的性能下降。
基于块的I/O的性能困境
目前,持久I/O主要通过对大块进行写操作来实现。而对于小于块大小的I/O,包括文件系统元数据的小I/O,由于共享块而导致更多的锁定和串行化活动。这个问题不仅仅能通过软件解决,同时需要存储媒体和软件的协同改进。
存储硬件创新的必要性
为了突破这些限制,存储硬件的创新变得必不可少。例如,SATA向NVMe的过渡以及持久内存技术的出现,为协同软件栈创新提供了基础。
解决方案:基于Intel Optane持久内存的Deos软件栈
Deos是一个专为性能设计的软件栈,它结合了持久内存和NVMe SSD,并通过PMDK和SPDK用户空间库直接与存储介质进行通信。Deos在此基础上提供了高效的软件栈和丰富的功能,通过RDMA协议进行连接。
Deos借鉴了数据库领域的技术,利用乐观并发控制机制来实现数据一致性,从而减少了大量的锁定和提高了性能。
同时,Deos将元数据和小I/O存储在持久内存中,而将大块数据写入NVMe SSD,以实现更好的SSD性能。通过调整块大小,可以获得更好的带宽和SSD的耐久性,进而降低成本。
以上的突破要求存储硬件的创新,如从SATA到NVMe的转变,以及持久内存的出现,同时也需要协调更新的软件栈,包括用户空间定义的新接口。
Intel Optane持久内存200系列的关键特性
随机操作的性能改进
第二代 Intel Xeon可扩展处理器与 Intel Optane持久内存100系列相比, Intel Optane持久内存200系列在随机操作的性能上平均改进了32%。
基于第三代Intel Xeon可扩展处理器的新服务器平台设计
第三代 Intel Xeon可扩展处理器的设计采用了全新的服务器平台,提供了8个内存通道,相比上一代的6个内存通道,大幅提升了整体内存带宽。
模块速度的改进
Intel Optane持久内存200系列相较于上一代有了更快的模块速度,从每秒2606兆传输增加到每秒3200兆,并且在全通道配置下实现了最大速度。
基于PCIe Gen4支持的I/O子系统
第三代服务器平台引入了PCIe Gen4支持,每个插槽提供64个通道,这为I/O子系统的发展提供了更好的硬件基础。可以通过基于PCIe Gen4的SSD进一步提高存储性能。
性能提升的衡量指标
为了评估Deos在持久内存下的性能,我们使用了两个常用的基准测试工具:IOR和MD Test。
IOR是用于衡量吞吐量的性能,通过同时读写多个文件,可以在多个客户端之间测量带宽。MD Test用于测试POSIX元数据的性能,通过创建、状态更新和删除空文件来测试POSIX元数据的服务速度。
这两个基准测试工具被广泛应用于存储性能的评估,并得到了业界的认可。
示例演示及性能数据
我们在第三代 Intel Xeon可扩展处理器和 Intel Optane持久内存200系列的全新系统设计上运行了Deos实例,并进行了三个基准测试的循环测试。
结果显示, Deos在小IO的写入性能上表现出色,随机访问操作具有显著的性能提升。对于读取操作,第三代平台采用的PCIe Gen4支持提供了更高的带宽。
在IOR Hard测试中,我们可以看到Deos能够提供与IOR Easy类似的性能水平,性能下降不到10%。
在MD Test测试中,第三代平台可以在单个服务器、两个客户端的情况下实现超过100万个文件的创建速率和170万个文件的状态更新速率。这是相对第二代平台显著的性能提升。
结论
通过基于Intel Optane持久内存的Deos软件栈,我们能够克服大规模存储系统面临的挑战,提供更高的性能和可扩展性。
第三代 Intel Xeon可扩展处理器和 Intel Optane持久内存200系列的引入,以及与之配套的软件栈创新,为大规模存储系统的发展带来了显著的性能提升。
我们对Deos在第三代 Intel Xeon可扩展处理器上实现的性能提升感到兴奋,并期待这将为用户带来更好的体验。
常见问题解答
-
Q:Deos是否可以适用于其他类型的存储系统?
A:Deos的设计理念可以应用于其他类型的存储系统,但具体实施需要根据不同的存储环境进行调整。
-
Q:Deos是否支持持久内存以外的存储介质?
A:Deos可以与其他类型的存储介质配合使用,但持久内存是其设计的关键部分,对于性能的改进起到了重要作用。
-
Q:除了性能提升,Deos还有其他优势吗?
A:是的,Deos不仅提供了性能的改进,还具备数据一致性、更高的存储利用率和灵活的存储配置等优势。