Améliorations de performance de DAOS avec les processeurs Intel Xeon Scalable 3ème génération et la série PMEM 200
Table des matières :
- Introduction
- Les défis de la scalabilité du système de fichiers
- Limitations du système de fichiers hérité
- Les avancées technologiques en matière de stockage
- Introduction à la mémoire persistante Intel Optane
- Avantages de la mémoire persistante dans DEOS
- La conception de DEOS pour des performances optimales
- Nouveautés dans la série Intel Optane Persistent Memory 200
- Améliorations de performance grâce à la série Intel Optane Persistent Memory 200
- Outils de mesure de performance pour le stockage HPC
- Résultats de performance DEOS avec la série Intel Optane Persistent Memory 200
- Conclusion
- Ressources utiles
📝 Défis de la scalabilité du système de fichiers
Le stockage des données à grande échelle présente des défis importants en termes de performances et de scalabilité. Au fil des années, les systèmes de fichiers traditionnels ont montré leurs limites en matière de scalabilité, en particulier lorsqu'ils sont confrontés à des déploiements massifs. Alors que les technologies de stockage évoluaient avec l'introduction des SSD, les limitations majeures venaient plutôt de la pile logicielle du système de fichiers que des technologies de stockage elles-mêmes.
L'un des principaux obstacles à la scalabilité du système de fichiers hérité est l'interface POSIX, qui exige des verrouillages pessimistes pour assurer la cohérence des données. Imaginons une situation où des dizaines de milliers de clients écrivent sur le même fichier. Les verrouillages sur chaque opération pertinente entraîneraient une sérialisation excessive, même si aucune de ces écritures ne génère réellement de conflit. Cette approche pessimiste ne peut tout simplement pas être mise à l'échelle.
Un autre problème majeur concerne les opérations d'E/S persistantes, qui sont effectuées sur des médias avec des blocs de taille importante. Cela pose un véritable dilemme de performance pour les E/S plus petites que la taille du bloc, y compris les métadonnées du système de fichiers. La mise en commun d'un bloc serait alors la cause de verrouillages et de sérialisation supplémentaires, ainsi que d'une diminution de la parallélisme.
Ces limitations sont devenues encore plus évidentes avec l'apparition de technologies de mémoire non volatile beaucoup plus rapides sur le marché. Il était évident qu'il fallait envisager d'autres moyens de garantir la cohérence des données et de débloquer le système de fichiers pour assurer sa sécurité future.
📝 Avantages de la mémoire persistante dans DEOS
DEOS, le système de fichiers développé par Intel, a été conçu dès le départ pour répondre aux défis de performance en combinant la mémoire persistante Intel Optane et les SSD NVMe. En tirant parti des bibliothèques d'espace utilisateur PMDK et SPDK pour communiquer directement avec les médias, DEOS offre une pile logicielle hautement efficace avec une fonctionnalité étendue via le tissu RDMA.
Contrairement aux SSD, la mémoire persistante Intel Optane offre une latence extrêmement faible grâce à un accès granulaire aux données. Cela signifie que les applications peuvent désormais accéder à de petites portions de données en parallèle, sans les verrouillages requis par les blocs. DEOS tire parti de cette caractéristique en stockant deux types de données différents dans la mémoire persistante : les métadonnées et les petites E/S définies par le moteur de politique de DEOS. Cela nous permet d'optimiser à la fois les écritures de données vers les SSD NVMe pour de meilleures performances et la longévité des SSD. En fin de compte, cela permet à nos clients d'utiliser des SSD moins chers, en passant des SSD haute endurance aux SSD de moyenne endurance ou standard, voire en passant d'une technologie à l'autre, comme les SSD NAND TLC de base aux SSD QLC.
La suppression de ces obstacles n'aurait jamais été possible sans l'innovation matérielle de stockage, la transition du SATA vers le NVMe et l'apparition de la mémoire persistante, ainsi que l'innovation coordonnée de la pile logicielle, notamment de nouvelles méthodes d'accès aux données dans l'espace utilisateur, telles que les interfaces clé-valeur, HDF5, MPI-IO et une API Python, tout en maintenant l'interface POSIX héritée pour faciliter la transition.
DEOS tire parti de toutes ces avancées pour offrir des performances optimales à l'Aide de la mémoire persistante Intel Optane série 200 et du dernier processeur Intel Xeon Scalable. Les améliorations de performance de la mémoire persistante Intel Optane série 200 par rapport à la série 100 peuvent atteindre jusqu'à 32 % en moyenne pour les opérations de mélange aléatoire 70/30. La prise en charge de la mémoire persistante avec le processeur Intel Xeon Scalable troisième génération et les améliorations apportées au module PMEM contribuent également à ces améliorations de performance.
Dans la section suivante, nous examinerons plus en détail les caractéristiques et les améliorations de la série Intel Optane Persistent Memory 200 pour mieux comprendre comment elles contribuent aux performances de DEOS.