Optimizando modelos de IA generativa para producción

Índice de contenidos

• Introducción
• Retos únicos de los modelos de IA generativa
• Pila de inferencia de IA generativa
• Reducción del tamaño del modelo
• Uso de múltiples GPUs en paralelo
• Compilación y cuantificación selectiva
• Optimización de kernel y paralelismo de tensor
• Casos de éxito
• Demostración en vivo de la difusión estable
• Conclusiones y recomendaciones

Acelerando modelos de IA generativos para producción

¡Hola a todos! Bienvenidos a este emocionante seminario web sobre la aceleración de modelos de IA generativa para producción. Soy OFA, el director de producto en Desi, y he estado trabajando en el desarrollo de productos de aprendizaje automático y aprendizaje profundo durante los últimos seis años. Hace dos años que estoy en Desi, liderando los productos de IA generativa, también conocidos como gen AI. Así que si menciono a gen AI, ya saben que me refiero a modelos generativos.

En este seminario web, exploraremos los desafíos únicos de la inferencia de modelos de IA generativa y por qué resulta tan costosa y lenta, especialmente a gran escala. También repasaremos la pila de inferencia de IA generativa, centrándonos en técnicas diseñadas para acelerar la inferencia. A continuación, les mostraré estas técnicas y cómo se implementan en Infori, el motor de optimización de inferencia de Desi. Compartiré algunos casos de éxito que hemos tenido con nuestros clientes y los resultados que han obtenido al utilizar Infori para acelerar sus modelos generativos. Luego haré una demostración en vivo de la difusión estable y les daré una idea de la velocidad que se puede alcanzar si tienen alguna consigna en mente que quieran probar. Si tienen alguna consigna, por favor escríbanla en el chat y la usaré en vivo.

¡Comencemos!

Introducción

Los modelos generativos han cobrado mucha popularidad desde la introducción de GPT-3 hace siete meses. Muchas empresas han comenzado a desarrollar aplicaciones que utilizan modelos generativos, generalmente con el objetivo de penetrar en nuevos mercados, mejorar la experiencia del usuario y aumentar los ingresos. Una decisión clave que deben tomar estas empresas al principio es hasta qué punto desean involucrarse en el entrenamiento del modelo o en su ajuste fino.

En cuanto a la implementación de modelos generativos, se plantean varios desafíos. La complejidad y el tamaño de estos modelos hacen que la inferencia sea lenta y costosa. Si bien se puede crear una aplicación de gen AI que funcione bien como demostración, utilizarla en producción y escalarla puede no ser rentable y no garantizar una buena experiencia del usuario. Además, hay implicaciones medioambientales significativas debido al alto consumo de energía necesario para la inferencia de los modelos de gen AI.

En este seminario web, nos centraremos en cómo mejorar la eficiencia de costos y la latencia de las inferencias de gen AI. Examinaremos la pila de inferencia de IA generativa y cómo se puede optimizar en cada nivel, desde la infraestructura de hardware hasta la capa de tiempo de ejecución del aprendizaje profundo. También presentaremos Infori, el motor de optimización de inferencia de Desi, que utiliza técnicas avanzadas de compilación, cuantificación selectiva y optimización de kernel para acelerar la inferencia de modelos generativos.

Retos únicos de los modelos de IA generativa

Los modelos generativos presentan varios desafíos únicos que afectan tanto a la latencia de la inferencia como a su costo. Estos desafíos incluyen:

• El tamaño masivo de los modelos: los modelos de gen AI, como GPT-4, pueden tener más de un billón de parámetros. El tamaño del modelo tiene un impacto directo en los requisitos computacionales y puede resultar en costos más altos de infraestructura, así como en latencia potencialmente Alta.
• Generación secuencial de salidas: los modelos generativos, especialmente los utilizados para tareas de procesamiento del lenguaje natural, generan las salidas secuencialmente, una palabra o token a la vez. Cada vez que se genera un token, el modelo debe ejecutarse nuevamente, tomando en cuenta el token generado anteriormente para generar el siguiente. Esto aumenta el costo computacional y la latencia de la inferencia.
• Longitud impredecible de las entradas: la longitud de las entradas puede variar desde frases cortas hasta miles de palabras, lo que afecta tanto el costo computacional como la latencia de la inferencia. Esta imprevisibilidad puede llevar a costos y tiempos de inferencia altos, especialmente si no se cuenta con recursos informáticos suficientes.
• Escala empresarial de la aplicación: a medida que aumenta la escala de implementación, ya sea en términos de usuarios o solicitudes, los requisitos computacionales para ejecutar el modelo también aumentan. Esto puede resultar en un aumento significativo en los costos y problemas de latencia si la infraestructura no puede escalar rápidamente para satisfacer la demanda.

En resumen, los modelos generativos presentan desafíos en términos de tamaño, generación secuencial, longitud de entrada impredecible y escala empresarial, lo que puede llevar a altos costos e ineficiencias en las inferencias. En los siguientes apartados, exploraremos cómo abordar estos desafíos y mejorar la eficiencia de costos y latencia de los modelos generativos.

Pila de inferencia de IA generativa

Para mejorar la eficiencia de los modelos de IA generativa en producción, es posible realizar mejoras en varios niveles de la pila de inferencia. Estos niveles incluyen:

• Infraestructura de hardware: la elección del hardware adecuado puede tener un impacto significativo en los costos y la latencia de la inferencia. Utilizar hardware más barato y más disponible puede reducir drásticamente los costos de infraestructura, especialmente al escalar el modelo.
• Sistema de gestión de implementación: al planificar la implementación a gran escala, es necesario contar con más que un simple motor de inferencia o un script de tiempo de ejecución. Una arquitectura cliente-servidor que controle una solución distribuida con clústeres de inferencia y múltiples GPUs simplifica la implementación de modelos generativos a gran escala en producción.
• Capa de tiempo de ejecución de aprendizaje profundo: esta capa es clave para optimizar el rendimiento y la velocidad de los modelos generativos. La compilación y la cuantificación selectiva son técnicas que pueden reducir el costo de la inferencia al proporcionar una representación más compacta y eficiente del modelo. También es posible utilizar optimizaciones adicionales a nivel de kernel y paralelismo de tensor para aumentar aún más el rendimiento del cálculo.

A continuación, profundizaremos en estas técnicas de optimización de la capa de tiempo de ejecución y cómo se pueden aplicar para acelerar la inferencia de modelos generativos.

Reducción del tamaño del modelo

Uno de los enfoques para reducir el costo y la latencia de la inferencia es asegurarse de que el modelo no sea más grande de lo necesario. A veces, un modelo más pequeño y especializado es todo lo que se necesita, lo que permite utilizar hardware más barato y más disponible, reduciendo drásticamente los costos de infraestructura. Si un modelo de 3 mil millones de parámetros, afinado para un caso de uso específico, es suficiente, no es necesario buscar un modelo de 7 mil millones o 30 mil millones de parámetros, que requerirán hardware y tiempos de entrenamiento más costosos.

Sin embargo, reducir el tamaño del modelo puede ser un desafío en sí mismo. Las técnicas tradicionales de compresión y cuantificación no siempre funcionan con los modelos generativos más grandes y complejos. Por ejemplo, la cuantificación tradicional tiende a tener problemas con la alta dimensionalidad de los modelos generativos y su naturaleza no lineal. Además, los modelos generativos a menudo presentan un grado sustancial de no linealidad y espacios de parámetros de alta dimensión, lo que puede dificultar la compresión.

Afortunadamente, Desi ha desarrollado un enfoque alternativo para la optimización de modelos generativos que aborda estas limitaciones. Este enfoque utiliza técnicas de compilación híbrida, cuantificación selectiva y optimización de kernels para reducir el tamaño del modelo y acelerar la inferencia sin comprometer la calidad.

Continuará...