Automatización completa de aprendizaje automático con Ludwig en Ray

Find AI Tools
No difficulty
No complicated process
Find ai tools

Automatización completa de aprendizaje automático con Ludwig en Ray

Contenido

  • Introducción
  • Problemas con el aprendizaje automático actual
  • La necesidad de soluciones black box
  • El enfoque de Ludwig: una solución declarativa
  • ¿Qué es Ludwig?
  • Arquitectura y funcionalidades de Ludwig
  • Beneficios de Ludwig en Ray
  • Casos de uso y ejemplos
  • Futuro de Ludwig y Predabase
  • Conclusiones

Introducción

¡Hola a todos! Gracias por asistir a mi presentación hoy. Mi nombre es Travis Adair, soy el líder mantenedor de un proyecto de código abierto llamado Horvad y un co-mantenedor del proyecto de código abierto Ludwig, del cual voy a hablarles hoy. Anteriormente trabajé como líder técnico para el equipo de entrenamiento de aprendizaje profundo en Uber, como parte de la plataforma de aprendizaje automático de Michelangelo, y actualmente soy co-fundador de una compañía llamada Predabase, de la cual les contaré un poco también. Aunque todavía estamos en modo sigilo, les revelaré algunos detalles sobre lo que estamos haciendo. Así que, entre nosotros, definitivamente les contaré un poco sobre lo que estamos haciendo.

Problemas con el aprendizaje automático actual

El mayor problema que observamos en la industria del aprendizaje automático hoy en día es que es fundamentalmente limitado y lento debido a varios factores, la mayoría de los cuales tienen que ver con el costo de crear modelos. Esto se debe en gran medida al hecho de que estos proyectos son impulsados por científicos de datos, quienes son recursos muy limitados en la mayoría de las organizaciones, y tienen una cantidad muy limitada de atención que pueden dedicar a un problema en particular. Como resultado, la mayoría de los recursos dentro de una organización se dirigen a un conjunto muy limitado de casos de uso de Alta prioridad.

La necesidad de soluciones black box

Para resolver este problema en organizaciones que tienen muchos problemas de aprendizaje automático y no tantos científicos de datos y expertos en aprendizaje automático para resolverlos, las organizaciones suelen recurrir a soluciones black box de automl que existen en la industria. Sin embargo, estas soluciones también tienen sus propios inconvenientes. Normalmente, estas soluciones te permiten empezar rápidamente, pero también tienen lo que podríamos llamar el problema del callejón sin salida, donde si las pruebas no funcionan para ti, hay pocas opciones en términos de cómo puedes personalizar la solución para adaptarla a tus requisitos específicos. Por lo tanto, nos encontramos en este dilema en el que necesitamos cosas que sean simples para que sean accesibles para organizaciones que no tienen un número infinito de científicos de datos, pero también necesitan ser flexibles para poder personalizar y ampliar la solución de manera que pueda adaptarse a tus necesidades empresariales específicas.

El enfoque de Ludwig: una solución declarativa

Cuando comenzamos a pensar en cómo sería una solución que nos brinde lo mejor de ambos mundos, la flexibilidad de un marco de trabajo como Tensorflow y PyTorch con la simplicidad de una solución de Automl, se nos ocurrió la analogía de cómo han progresado las cosas en el espacio de la gestión de datos y la infraestructura de datos. Antes de los años 2000, SQL era la forma común de trabajo para toda la ingeniería de datos e infraestructura de datos. Sin embargo, en los primeros años 2000, Google publicó el famoso artículo de MapReduce y de repente ingresamos a esta nueva era del big data y el NoSQL. Como resultado, las herramientas tuvieron que volver a comenzar de cierta manera y escribir mucho más código de nivel bajo para este procesamiento de datos, perdiendo muchas de las ventajas de un lenguaje de nivel superior como SQL.

¿Qué es Ludwig?

Ludwig es un marco de trabajo declarativo de bajo código para construir redes neuronales profundas. Es un proyecto de código abierto que cuenta con más de siete mil estrellas en GitHub y más de 60 colaboradores de toda la industria. Lo que hace único a Ludwig es su enfoque de modelado en forma mixta, donde se pueden combinar diferentes tipos de datos en modelos individuales y realizar aprendizaje multitarea para tareas como predicción binaria, regresión y generación de texto. Ludwig ha sido probado en producción en Uber y ahora es parte de la Fundación Linux de IA y Datos.

Arquitectura y funcionalidades de Ludwig

En el corazón de Ludwig se encuentra la arquitectura codificador-decodificador. En lugar de pensar en el modelo en términos de capas y dimensiones, simplemente se piensa en entradas y salidas de datos. Ludwig Toma los datos de entrada, los preprocesa y los codifica en una representación comprensible para el marco de trabajo de aprendizaje profundo. Luego combina todas estas entradas diferentes utilizando una capa de combinación, realiza algunos procesamientos y las decodifica en las salidas del modelo que se desea predecir. Esta arquitectura resulta ser muy flexible y se puede adaptar a una amplia variedad de problemas y tipos de datos.

Beneficios de Ludwig en Ray

Recientemente, introdujimos Ludwig en Ray, lo que nos permite escalar el marco de trabajo y realizar un procesamiento paralelo en grandes conjuntos de datos. Ludwig en Ray nos permite procesar conjuntos de datos muy grandes utilizando una ejecución fuera de núcleo y una ejecución paralela, todo en la plataforma de Ray. Podemos procesar datos directamente desde fuentes de datos remotas como S3 o almacenes de datos como Snowflake, realizar procesamiento de datos y almacenarlos en diferentes formatos para su posterior procesamiento distribuido y entrenamiento. Por último, también podemos realizar predicciones distribuidas mediante el uso de Dask para el procesamiento en lotes.

Casos de uso y ejemplos

Ludwig se puede utilizar para una amplia gama de casos de uso en diferentes industrias. Por ejemplo, se puede utilizar en problemas de clasificación de texto, detección de anomalías, recomendaciones personalizadas, segmentación de imágenes y mucho más. Ludwig ha demostrado su eficacia en problemas difíciles como el reconocimiento de voz y la detección de fraudes. Además, se integra con otros marcos populares como Hugging Face Transformers y PyTorch Lightning, lo que permite utilizar pre-entrenamientos y arquitecturas avanzadas sin tener que implementarlos desde cero.

Futuro de Ludwig y Predabase

En el futuro, planeamos seguir mejorando Ludwig y llevarlo al mundo empresarial a través de Predabase. Predabase es una empresa fundada por los creadores de Ludwig con el objetivo de hacer que el proceso de aprendizaje automático sea simple y rápido, y permitir que las organizaciones obtengan valor de sus modelos con un mínimo esfuerzo. Estamos trabajando en herramientas que se integren directamente con tu infraestructura de datos existente y te permitan expresar tus intenciones en términos de lo que deseas predecir utilizando un lenguaje similar a SQL.

Conclusiones

En resumen, Ludwig es un marco de trabajo declarativo de bajo código para construir redes neuronales profundas que combina simplicidad y flexibilidad. Con Ludwig en Ray, podemos escalar el procesamiento y el entrenamiento en grandes conjuntos de datos de manera eficiente. Además, Ludwig se puede utilizar en una amplia variedad de casos de uso y se integra con otros marcos populares. En el futuro, a través de Predabase, esperamos llevar la simplicidad y la capacidad de escala de Ludwig al mundo empresarial. Mantente atento a nuestras próximas actualizaciones y, si estás interesado, no dudes en contactarme en travis@predabase.com.

Recuerda, estamos contratando, así que si estás buscando un nuevo trabajo, ¡no dudes en contactarme también!

Most people like

Are you spending too much time looking for ai tools?
App rating
4.9
AI Tools
100k+
Trusted Users
5000+
WHY YOU SHOULD CHOOSE TOOLIFY

TOOLIFY is the best ai tool source.