DAOS: Almacenamiento definido por software escalable para la convergencia de HPC/Big Data/IA
Contenidos
- Introducción a The Rich Report
- Johann Lombardi: ingeniero principal de Intel
- Day Ass: un nuevo sistema de archivos
- La evolución de Deus desde 2012
- El impacto en el aprendizaje automático
- Los desafíos de la memoria persistente de Intel
- Beneficios para sistemas más pequeños
- Conclusiones
- Recursos adicionales
🚀 Johann Lombardi: ingeniero principal de Intel
En este episodio de The Rich Report, nuestro invitado es Johann Lombardi, un ingeniero principal de Intel. Johann ha estado trabajando en un proyecto llamado Day Ass, un nuevo sistema de archivos diseñado para soportar memoria persistente y almacenamiento no volátil. En esta entrevista, Johann comparte los detalles y objetivos principales de este proyecto, así como su evolución desde 2012.
Artículo
🚀 Johann Lombardi: ingeniero principal de Intel
En este episodio de The Rich Report, tenemos el gusto de recibir a Johann Lombardi, un ingeniero principal de Intel. Johann es el responsable del proyecto Day Ass, un nuevo sistema de archivos desarrollado por Intel. En esta entrevista, Johann nos cuenta todo acerca de este proyecto y cómo ha evolucionado desde su inicio en 2012.
El proyecto Day Ass surge ante la necesidad de desarrollar un sistema de archivos que sea capaz de soportar memoria persistente y almacenamiento no volátil. Johann y su equipo comenzaron a trabajar en este proyecto en 2012, pero fue en 2015 cuando decidieron reescribirlo desde cero como un almacenamiento de objetos independiente. Aunque todavía se realiza una integración con otros sistemas de archivos como Lustre, Day Ass se diseñó para no depender de ellos.
El objetivo principal de Day Ass es proporcionar un almacenamiento de alto rendimiento para la convergencia de computación de alto rendimiento, big data e inteligencia artificial. Johann explica que el desarrollo de sistemas de archivos paralelos para HPC se ha centrado tradicionalmente en casos de uso de transferencia en masa. Sin embargo, con las nuevas cargas de trabajo de big data y IA, han surgido nuevos requisitos de almacenamiento. Day Ass está diseñado para satisfacer estas nuevas demandas y ofrecer una solución de almacenamiento eficiente para todos estos tipos de cargas de trabajo en un solo clúster.
Johann también nos presenta la arquitectura de Day Ass, que se basa en tres componentes principales desarrollados por Intel: la memoria persistente, los SSD NVMe y la interfaz de comunicación de tejido flexible. Estos componentes permiten el almacenamiento directo en espacio de usuario, evitando llamadas al sistema y mejorando el rendimiento. Además, Day Ass aprovecha las ventajas de la memoria persistente combinada con los SSD para proporcionar una solución de almacenamiento de alto rendimiento y capacidad. En términos de comunicación, utiliza técnicas de MPI para operaciones colectivas y ofrece baja latencia y Alta escalabilidad.
En cuanto a las integraciones, Day Ass ha sido totalmente integrado con Apache Spark para acelerar el procesamiento de big data y también con otros Middleware y formatos de datos como HDF5, Veloc y Veloce para facilitar la adopción y el uso de la API de Day Ass en diferentes frameworks y aplicaciones.
🔥 Ventajas y desafíos de Day Ass
Una de las principales ventajas de Day Ass es su capacidad para proporcionar baja latencia y alta velocidad de escritura y lectura, lo cual es fundamental para las cargas de trabajo de big data e IA. Además, su arquitectura basada en memoria persistente y SSD permite aprovechar al máximo las nuevas tecnologías de almacenamiento.
Sin embargo, también existen desafíos asociados al desarrollo y la adopción de Day Ass. Uno de ellos es la disponibilidad de memoria persistente de Intel, que aún es una tecnología relativamente nueva y solo es compatible con los procesadores Intel Xeon Scalable de segunda generación. Esto limita su uso a sistemas que utilicen estos procesadores.
Otro desafío es la integración con sistemas más pequeños. Aunque Day Ass ofrece grandes beneficios para sistemas a gran escala, también es importante que los sistemas más pequeños puedan disfrutar de una latencia y un rendimiento mejorados. Johann menciona que Day Ass está diseñado para ofrecer mejoras de rendimiento constantes, independientemente del tamaño del sistema.
✨ Conclusiones
En resumen, Day Ass es un emocionante proyecto desarrollado por Intel que busca optimizar el almacenamiento para cargas de trabajo de alto rendimiento, big data e inteligencia artificial. Gracias a su arquitectura basada en memoria persistente y SSD, ofrece una latencia y un rendimiento excepcionales. Aunque tiene algunos desafíos relacionados con la disponibilidad de hardware y la integración en sistemas más pequeños, su potencial para mejorar el almacenamiento en diversas aplicaciones es innegable.
Si quieres conocer más detalles sobre Day Ass y su impacto en el almacenamiento de alto rendimiento, no te pierdas la entrevista completa con Johann Lombardi en The Rich Report.
🌟 Recursos adicionales
FAQs
P: ¿Day Ass es compatible con sistemas que no utilizan procesadores Intel Xeon Scalable de segunda generación?
R: No, actualmente Day Ass solo es compatible con procesadores Intel Xeon Scalable de segunda generación.
P: ¿Day Ass ofrece mejoras de rendimiento en sistemas más pequeños?
R: Sí, Day Ass está diseñado para ofrecer mejoras de rendimiento independientemente del tamaño del sistema.
P: ¿Day Ass se integra con frameworks y middleware como Apache Spark y HDF5?
R: Sí, Day Ass se integra con frameworks y middleware populares como Apache Spark y HDF5 para facilitar la adopción y el uso de su API.
P: ¿Cuál es el objetivo principal de Day Ass?
R: Day Ass tiene como objetivo proporcionar un almacenamiento de alto rendimiento para la convergencia de computación de alto rendimiento, big data e inteligencia artificial. Su arquitectura se basa en memoria persistente y SSD para ofrecer baja latencia y alta velocidad de escritura y lectura.
P: ¿Day Ass es una solución de almacenamiento de objetos independiente?
R: Sí, Day Ass es un sistema de archivos independiente que no depende de otros sistemas de archivos como Lustre. Aunque se realiza una integración con otros sistemas para proporcionar una migración suave, Day Ass fue diseñado desde cero como un almacenamiento de objetos independiente.