Escalando la IA con Ray en Vertex AI

Find AI Tools in second

Find AI Tools

No difficulty

No complicated process

Find ai tools

Home AI News ES Escalando la IA con Ray en Vertex AI

Updated on Feb 19,2024

Escalando la IA con Ray en Vertex AI

Contenido

Introducción
¿Qué es Ray?
Visión general de Ray
El clúster de Ray
Ray Core y sus primitivas
Ray AIR y el aprendizaje automático
Integración de BigQuery con Ray Data
Ejemplo de flujo de aprendizaje automático con Ray en Vertex AI
Demostración de crear un clúster de Ray en Vertex AI
Demostración de integración de BigQuery con Ray Data
Demostración de flujo de aprendizaje automático de extremo a extremo con Ray en Vertex AI
Conclusiones

Introducción

En esta sesión, queremos presentarte la integración de Ray en Vertex AI y cómo esta combinación facilita la implementación y la escalabilidad de la inteligencia artificial en la nube. Hablaremos sobre qué es Ray, los conceptos básicos de su funcionamiento y cómo se integra con Vertex AI. También realizaremos demostraciones prácticas que te permitirán comprender mejor cómo utilizar Ray en Vertex AI para tus proyectos de aprendizaje automático.

¿Qué es Ray?

Ray es una plataforma de cómputo distribuido unificada y de código abierto diseñada para cargas de trabajo de Python, especialmente en el ámbito del aprendizaje automático. Su objetivo es permitir la creación de flujos de trabajo de aprendizaje automático de manera distribuida y paralela, ofreciendo bibliotecas para gestionar tareas comunes en este campo. Con Ray, es posible escalar el aprendizaje automático desde una computadora portátil hasta la nube de manera sencilla y eficiente.

Visión general de Ray

Ray se compone de varios componentes principales, incluyendo el clúster de Ray, Ray Core y Ray AIR. El clúster de Ray es un conjunto de nodos que ejecutan código de Ray y puede ser configurado en una computadora portátil, en Kubernetes o en la nube. Ray Core es una biblioteca de Python de código abierto que permite la creación de sistemas distribuidos utilizando primitivas como tareas y actores. Por último, Ray AIR (AI Runtime) se basa en la capacidad de cómputo distribuido de Ray Core y ofrece herramientas específicas para el aprendizaje automático, como procesamiento de datos, entrenamiento, ajuste de hiperparámetros, aprendizaje por refuerzo y despliegue de modelos.

El clúster de Ray

El clúster de Ray es el entorno en el cual se ejecuta el código de Ray. Está compuesto por nodos, siendo necesario al menos un nodo principal y uno o más nodos de trabajo. El nodo principal se encarga de la gestión del clúster y de su comunicación con los nodos de trabajo. Cada nodo de trabajo ejecuta el código de Ray y tiene su propio almacenamiento de objetos. Esta arquitectura de clúster facilita la ejecución paralela y distribuida de tareas en Ray.

Ray Core y sus primitivas

Ray Core es el núcleo de Ray y proporciona las primitivas necesarias para desarrollar sistemas distribuidos. Las primitivas principales incluyen tareas y actores. Las tareas son funciones que se pueden ejecutar de manera asincrónica y distribuida en el clúster de Ray. Los actores son objetos que pueden mantener un estado interno y ejecutar métodos de manera concurrente. Estas primitivas de Ray Core permiten la ejecución paralela y distribuida de tareas y el desarrollo de sistemas más eficientes y escalables.

Ray AIR y el aprendizaje automático

Ray AIR (AI Runtime) es una extensión de Ray Core diseñada específicamente para aplicaciones de aprendizaje automático. Aprovechando las primitivas y la capacidad de cómputo distribuido de Ray, Ray AIR ofrece herramientas para el procesamiento de datos, entrenamiento de modelos, ajuste de hiperparámetros, aprendizaje por refuerzo y despliegue de modelos. Además, Ray AIR proporciona integraciones con frameworks populares de aprendizaje automático como XGBoost, TensorFlow y PyTorch, lo que facilita aún más el desarrollo de aplicaciones de aprendizaje automático escalables y eficientes.

Integración de BigQuery con Ray Data

Ray Data es una extensión de Ray que permite trabajar con grandes conjuntos de datos de manera eficiente y escalable. Una de las integraciones más destacadas de Ray Data es con BigQuery, el servicio de almacenamiento y análisis de datos de Google Cloud. Esta integración permite leer y escribir datos desde y hacia BigQuery utilizando Ray Data, lo que simplifica el procesamiento y análisis de grandes volúmenes de datos en entornos distribuidos.

Ejemplo de flujo de aprendizaje automático con Ray en Vertex AI

Para ilustrar cómo se utiliza Ray en Vertex AI, vamos a presentar un ejemplo de flujo de trabajo de aprendizaje automático utilizando estas dos herramientas. En este ejemplo, vamos a crear un clúster de Ray en Vertex AI, cargar datos desde BigQuery utilizando Ray Data, entrenar un modelo de aprendizaje automático utilizando Ray AIR y finalmente desplegar el modelo para hacer predicciones en tiempo real. Esto nos permitirá ver cómo se combinan las capacidades de Ray y Vertex AI para simplificar y escalar el desarrollo de aplicaciones de aprendizaje automático.

Demostración de crear un clúster de Ray en Vertex AI

Vamos a comenzar con la demostración de la creación de un clúster de Ray en Vertex AI. Para Ello, utilizaremos la interfaz gráfica de Google Cloud Console y seguiremos unos sencillos pasos para configurar nuestro clúster. En primer lugar, seleccionaremos un nombre y una región para el clúster. A continuación, elegiremos los tipos de máquinas para el nodo principal y los nodos de trabajo. También podremos seleccionar opciones adicionales, como aceleradores o discos adicionales, si es necesario. Por último, configuraremos la seguridad y la red para el clúster. Una vez configurado, nuestro clúster estará listo para su uso.

Demostración de integración de BigQuery con Ray Data

En esta demostración, vamos a mostrar cómo utilizar la integración entre BigQuery y Ray Data. Utilizaremos Ray Data para leer datos desde BigQuery, realizar transformaciones y escribir los resultados nuevamente en BigQuery. Esta integración permite procesar grandes conjuntos de datos de manera eficiente y distribuida utilizando las capacidades de Ray Data. Mostraremos algunos ejemplos de cómo utilizar Ray Data para realizar operaciones comunes en la manipulación de datos, como filtrado, agregación y transformaciones. También veremos cómo recuperar los resultados de estas operaciones y escribir los datos transformados en BigQuery.

Demostración de flujo de aprendizaje automático de extremo a extremo con Ray en Vertex AI

En la última demostración, mostraremos un flujo de trabajo completo de aprendizaje automático utilizando Ray en Vertex AI. Comenzaremos cargando datos desde BigQuery utilizando Ray Data y realizando algunas transformaciones en los datos. A continuación, entrenaremos un modelo de aprendizaje automático utilizando Ray AIR y realizaremos ajuste de hiperparámetros utilizando Ray Tune. Una vez que hayamos entrenado el mejor modelo, lo registraremos en el registro de modelos de Vertex AI y lo desplegaremos en un punto final para hacer predicciones en tiempo real. Mostraremos cómo utilizar las capacidades integradas de Vertex AI para gestionar todo el flujo de trabajo, desde la preparación de datos hasta el despliegue del modelo final.

Conclusiones

En esta sesión, hemos explorado la integración de Ray en Vertex AI y hemos visto cómo estas dos herramientas se combinan para facilitar la implementación y la escalabilidad de la inteligencia artificial en la nube. Hemos aprendido qué es Ray, cómo funciona y cómo se integra con Vertex AI. También hemos realizado demostraciones prácticas que nos han permitido ver cómo utilizar Ray en Vertex AI para crear clústeres, procesar datos en BigQuery y desarrollar flujos de trabajo completos de aprendizaje automático. Esperamos que esta sesión te haya resultado útil y te anime a explorar más estas herramientas en tus propios proyectos de inteligencia artificial. ¡Gracias por acompañarnos!