Descubre el poder del superclúster de Meta para la investigación de IA

Descubre el poder del superclúster de Meta para la investigación de IA

Índice de contenidos

1. Introducción

• Antecedentes de la investigación
• Importancia de la inteligencia artificial en Meta

2. Construcción del superclúster de investigación

• Razones para construir un superclúster personalizado
• Parámetros físicos y tecnología de enfriamiento
• Red de back-end especializada
• Poder de cómputo y almacenamiento

3. Mejora continua de las funciones de IA de Meta

• Ampliación de la cantidad y calidad de los datos de entrenamiento
• Aumento de la complejidad del modelo
• Iteración y mejora rápida

4. Desafíos en la construcción y operación del superclúster

• Construcción gradual y no disruptiva
• Tasas de fallas del hardware y mecanismos de detección y reparación
• Estabilización de la red a gran escala
• Observabilidad y depuración en caso de fallos

5. Estudios de caso de modelos entrenados en el superclúster

• Proyecto Llama: modelos fundamentales de menor tamaño
• Proyecto de No Language Left Behind: traducción de idiomas con pocos datos

6. Conclusiones y futuras mejoras en la infraestructura

• Escalamiento del estado del arte y de distintos proyectos
• Innovación y aprendizajes continuos en la construcción y operación
• Compartir conocimientos y procesos con colegas en producción

🔬 Introducción

En Meta hemos estado utilizando la inteligencia artificial (IA) de diversas formas durante varios años. Desde la detección de contenido dañino hasta la traducción Instantánea de idiomas, la IA ha jugado un papel fundamental en nuestras aplicaciones. Sin embargo, a medida que avanzamos hacia el futuro y la tecnología de realidad aumentada y virtual se vuelve aún más relevante, la IA cobrará un papel aún más importante.

Es por eso que hemos construido un superclúster de investigación (RSC por sus siglas en inglés) para respaldar nuestras ambiciosas metas en IA. Este superclúster nos permite escalar tanto en tamaño como en complejidad, lo que es fundamental para ofrecer experiencias de usuario de Alta calidad a miles de millones de personas en todo el mundo.

✨ Construcción del superclúster de investigación

Razones para construir un superclúster personalizado

En lugar de utilizar la tecnología de centro de datos existente de Meta, decidimos construir un superclúster personalizado debido a las demandas únicas del entrenamiento de IA a gran escala. Esto implica controlar los parámetros físicos, como la tecnología de enfriamiento y la red de back-end especializada.

Por ejemplo, utilizamos refrigeración líquida en lugar de refrigeración basada en flujo de Aire, ya que esta última no cumplía con los requisitos del entrenamiento de IA a gran escala. Además, nuestra red de back-end es una red de baja latencia con alta capacidad de ancho de banda y restricciones en la longitud del cable. Estos factores nos llevaron a tomar la decisión de construir un clúster personalizado.

Poder de cómputo y almacenamiento

El RSC tiene una capacidad de cómputo impresionante, con hasta cinco exaflops de potencia de cómputo, lo que equivale a un billón de billones de operaciones por segundo. Para lograr esta escala, utilizamos 2000 sistemas Nvidia DGX A100, cada uno con ocho GPUs A100 y un total de 640 GB de memoria. Además, contamos con una red Ethernet de alta velocidad de 200 Gbps para conectar los nodos del clúster.

En cuanto al almacenamiento, hemos desarrollado un servicio de almacenamiento especializado llamado AirStore, que mejora el rendimiento y la escalabilidad de la carga de datos para el entrenamiento de IA. Además, tenemos 10 petabytes de almacenamiento flash montado y visible para todos los dispositivos del clúster, lo que nos permite realizar tareas como el guardado intermedio del modelo durante el entrenamiento.

🚀 Mejora continua de las funciones de IA de Meta

En Meta, estamos constantemente buscando formas de mejorar nuestras funciones de IA y proporcionarles a nuestros investigadores los recursos necesarios para innovar. Para lograrlo, nos enfocamos en tres aspectos principales: aumentar la cantidad y calidad de los datos de entrenamiento, aumentar la complejidad del modelo y fomentar la iteración y la mejora rápida.

Ofrecemos a nuestros investigadores la posibilidad de utilizar diferentes modalidades de datos, como texto e imágenes, para entrenar sus modelos de lenguaje y mejorar la calidad de las respuestas. También trabajamos en el incremento de la complejidad del modelo agregando parámetros y aplicando pre y post-procesamiento. Sin embargo, para lograr avances significativos en estas áreas, es fundamental aprender de los resultados obtenidos, realizar mejoras y seguir iterando.

Un ejemplo que demuestra la importancia de la mejora continua es el crecimiento en el número de parámetros utilizados en los modelos de lenguaje a lo largo de los años. Con la llegada de la tecnología Transformer, se pudo aumentar exponencialmente la cantidad de parámetros, lo que permitió obtener resultados más precisos. El RSC ha sido fundamental para acelerar este proceso de entrenamiento y ayudarnos a alcanzar nuevos hitos en el desarrollo de modelos de lenguaje.

💡 Desafíos en la construcción y operación del superclúster

La construcción y operación del superclúster no estuvieron exentas de desafíos. Uno de los mayores desafíos fue lograr una implementación gradual y no disruptiva del clúster. Debido a las limitaciones impuestas por la pandemia de COVID-19 y la disponibilidad de suministros, tuvimos que planificar cuidadosamente la construcción del clúster en dos fases. Esto nos permitió extender gradualmente la capacidad del clúster sin interrumpir los flujos de trabajo.

Además, nos enfrentamos a tasas de fallas del hardware más altas de lo previsto, lo que nos llevó a mejorar nuestros mecanismos de detección y reparación para garantizar la estabilidad y confiabilidad del clúster. También tuvimos que dedicar tiempo y recursos significativos a estabilizar la red a gran escala, ya que cualquier degradación en la red puede afectar el rendimiento del clúster.

Otro desafío importante fue garantizar la observabilidad y la capacidad de depuración en caso de fallos, especialmente teniendo en cuenta la complejidad del clúster y la cantidad de componentes involucrados. Desarrollamos herramientas y prácticas que nos permitieron identificar rápidamente la causa raíz de los problemas y solucionarlos de manera efectiva.

📚 Estudios de caso de modelos entrenados en el superclúster

El RSC ha permitido llevar a cabo una variedad de proyectos de investigación innovadores. Uno de ellos es el proyecto Llama, en el que se entrenaron modelos de menor tamaño para brindar una base sólida para la comprensión de los modelos de lenguaje a gran escala. Estos modelos más pequeños están disponibles para la comunidad de investigadores y les permiten explorar y mejorar aún más las capacidades de los modelos de lenguaje.

Otro proyecto destacado es el proyecto No Language Left Behind, que se enfoca en la traducción automática de idiomas con pocos datos disponibles en internet. Gracias al RSC, el equipo de investigación logró acelerar significativamente los tiempos de entrenamiento y obtener resultados más precisos. Este proyecto demuestra el potencial del superclúster para abordar desafíos complejos y avanzar en la investigación de IA.

👉 Conclusiones y futuras mejoras en la infraestructura

El superclúster de investigación de Meta ofrece una escala sin precedentes tanto en términos de modelos individuales como en proyectos simultáneos. El RSC nos permite entrenar modelos enormes y complejos, así como ejecutar múltiples proyectos al mismo tiempo sin interrupciones. Estamos comprometidos con la mejora continua de nuestra infraestructura y continuaremos aprendiendo de nuestras experiencias, compartiendo conocimientos con nuestros colegas y buscando formas de optimizar aún más nuestras operaciones.

En resumen, el superclúster de investigación juega un papel fundamental en el avance de la IA en Meta. Nos permite ampliar el estado del arte, mejorar nuestras funciones de IA y colaborar con investigadores de todo el mundo para impulsar la innovación en este campo en constante evolución.