Introducción al pronóstico en Machine Learning y Deep Learning

Find AI Tools
No difficulty
No complicated process
Find ai tools

Introducción al pronóstico en Machine Learning y Deep Learning

Tabla de Contenidos

  1. Introducción 🌍
  2. Metodologías populares de pronóstico 📈
    1. Enfoques estadísticos clásicos
      • ARIMA
      • Holt-Winters
      • Método Theta
    2. Técnicas de aprendizaje automático y redes neuronales
      • Regresión cuantílica por bosques
      • Redes neuronales recurrentes
  3. Importancia de las pruebas retrospectivas ⌛
  4. Intervalos de predicción y su relevancia 🔮
  5. Casos de uso de pronósticos en Uber 🚗
    1. Pronóstico de la demanda y oferta en el mercado
    2. Detección inteligente de anomalías en tiempo real
    3. Pronóstico de capacidad de hardware
  6. Desafíos en el pronóstico de eventos 🌩️
  7. Enfoque de redes neuronales recurrentes para el pronóstico de eventos extremos 🌀
    1. Arquitectura de la red neuronal
    2. Estimación de intervalos de predicción
  8. Resultados y métricas 📊
  9. Recursos adicionales 📚
  10. Oportunidades de carrera en Uber 🚀

Pronóstico Avanzado para Decisiones Inteligentes en Uber

Introducción 🌍

¡Buenos días a todos! Soy Fran, líder de ciencia de datos en Uber. Antes de unirme a Uber hace tres años y medio, realicé un postdoc en Cal Tech, donde me especialicé en dinámica cuántica aproximada. En Uber, he liderado varios equipos de pronóstico, incluyendo el equipo de detección de anomalías en tiempo real, el equipo de plataforma de pronósticos y, más recientemente, nuestro equipo de procesamiento de lenguaje natural. En esta charla, compartiré con ustedes algunos puntos clave en el campo de los pronósticos, abarcando desde las metodologías populares hasta los desafíos que enfrentamos en Uber y las soluciones avanzadas que hemos desarrollado.

Metodologías populares de pronóstico 📈

Para comenzar, es importante entender las diferentes metodologías que existen en el campo de los pronósticos. Podemos dividirlas en dos categorías principales: enfoques estadísticos clásicos y técnicas de aprendizaje automático y redes neuronales.

Enfoques estadísticos clásicos

Los enfoques estadísticos clásicos, como ARIMA, Holt-Winters y el Método Theta, han estado presentes durante décadas y se utilizan ampliamente en diversos campos. Estos métodos son computacionalmente eficientes y proporcionan buenos resultados en muchas situaciones.

Técnicas de aprendizaje automático y redes neuronales

En los últimos años, las técnicas de aprendizaje automático y las redes neuronales han ganado popularidad en el campo de los pronósticos. La regresión cuantílica por bosques y las redes neuronales recurrentes son ejemplos de estas técnicas. Las redes neuronales recurrentes son especialmente útiles cuando se dispone de una gran cantidad de datos y no se requiere interpretabilidad.

Importancia de las pruebas retrospectivas ⌛

Antes de elegir la mejor metodología de pronóstico para su caso de uso, es fundamental realizar pruebas retrospectivas. Estas pruebas nos permiten comparar diferentes enfoques y evaluar su rendimiento en situaciones pasadas. Sin embargo, es importante tener en cuenta que el orden temporal de los datos es crucial y no se pueden realizar pruebas utilizando datos que ocurrieron después del período que se desea pronosticar.

Existen dos enfoques principales para las pruebas retrospectivas: el enfoque de ventana deslizante y el enfoque de ventana en expansión. El enfoque de ventana deslizante implica utilizar una ventana fija de datos de entrenamiento que se desplaza a medida que avanzamos en el tiempo, mientras que el enfoque de ventana en expansión expande la ventana de datos de entrenamiento a medida que avanzamos, sin descartar puntos de datos anteriores.

Intervalos de predicción y su relevancia 🔮

Además de realizar pronósticos precisos, es crucial tener una estimación de la incertidumbre asociada a estos pronósticos. Es aquí donde entran en juego los intervalos de predicción. Un intervalo de predicción muestra la probabilidad de que el valor pronosticado se encuentre dentro del intervalo. Por ejemplo, un intervalo de predicción del 80% indica que existe un 80% de probabilidad de que el valor pronosticado se encuentre dentro del intervalo y un 20% de probabilidad de que caiga fuera de él.

Los intervalos de predicción son especialmente relevantes en situaciones donde se toman decisiones comerciales basadas en los pronósticos. Por ejemplo, en Uber, al pronosticar la capacidad de hardware necesaria para eventos especiales o vacaciones, es importante tener en cuenta la incertidumbre y asegurarse de que no haya una falta de capacidad que pueda generar interrupciones del servicio.

Casos de uso de pronósticos en Uber 🚗

En Uber, los pronósticos desempeñan un papel fundamental en nuestro negocio. Tenemos una amplia variedad de casos de uso en los que aplicamos técnicas de pronóstico, pero aquí destacaré tres de ellos.

Pronóstico de la demanda y oferta en el mercado

Uno de nuestros casos de uso más importantes es el pronóstico de la demanda y oferta en el mercado. Utilizamos modelos sofisticados para predecir la oferta y demanda de viajes en tiempo real, permitiéndonos dirigir a los conductores hacia áreas de Alta demanda. Esto nos ayuda a garantizar una cobertura adecuada de conductores en todo momento.

Detección inteligente de anomalías en tiempo real

Otro caso de uso crucial es nuestra capacidad para detectar anomalías en tiempo real. Utilizamos técnicas avanzadas de pronóstico que nos permiten identificar y responder rápidamente a cualquier anomalía en nuestras métricas de negocio. Esto nos ayuda a mantener la calidad del servicio y evitar interrupciones innecesarias.

Pronóstico de capacidad de hardware

Como una empresa en constante crecimiento, es fundamental pronosticar con precisión nuestra capacidad de hardware. Necesitamos asegurarnos de que tenemos suficiente infraestructura para atender la demanda, especialmente en eventos especiales o días festivos. Para Ello, utilizamos técnicas de pronóstico de última generación que nos permiten tomar decisiones óptimas y evitar tanto la falta de capacidad como el exceso de provisionamiento.

Desafíos en el pronóstico de eventos 🌩️

Uno de los desafíos más interesantes en el campo de los pronósticos es predecir eventos extremos. En Uber, estamos constantemente expuestos a eventos que pueden tener un impacto significativo en nuestro negocio, como conciertos, días festivos y eventos deportivos. Estos eventos pueden generar un aumento repentino o una disminución en la demanda de viajes, lo que requiere una capacidad de pronóstico precisa y rápida respuesta.

Sin embargo, los enfoques clásicos y estadísticos a menudo no son suficientes para capturar la complejidad de estos eventos. Es por eso que hemos recurrido a las redes neuronales recurrentes, que son capaces de modelar de manera efectiva las secuencias y capturar la estructura jerárquica de los datos de tiempo. A continuación, describiré en más detalle la arquitectura que hemos utilizado para el pronóstico de eventos extremos en Uber.

Enfoque de redes neuronales recurrentes para el pronóstico de eventos extremos 🌀

En nuestra investigación, hemos utilizado una variante de las redes neuronales recurrentes conocida como memoria a corto y largo plazo (LSTM por sus siglas en inglés). Las LSTM tienen la capacidad de retener información de eventos anteriores y son especialmente adecuadas para pronosticar eventos extremos.

Nuestro enfoque comienza con un paso de entrenamiento en el que utilizamos un enfoque de codificador-decodificador para generar automáticamente características relevantes. Esto nos permite eliminar gran parte de la ingeniería de características manual y hacer que nuestro proceso sea escalable.

A continuación, combinamos las características aprendidas con variables externas, como el clima y eventos especiales, y las introducimos en una red de predicción, en este caso una perceptrón multicapa. La salida de esta red es el pronóstico final. Se pueden encontrar más detalles sobre esta arquitectura en nuestra publicación (referencia al final).

Resultados y métricas 📊

Hemos evaluado y comparado nuestro enfoque de redes neuronales recurrentes con otros métodos populares, como la regresión cuantílica por bosques y el método LSTM. Nuestros resultados muestran que nuestro modelo supera significativamente a los enfoques existentes, reduciendo el error promedio y mejorando la precisión de los pronósticos.

Además, hemos desarrollado técnicas para pronosticar la incertidumbre relacionada con eventos especiales, como días festivos. Estos pronósticos de incertidumbre nos permiten tomar decisiones más informadas y garantizar la capacidad de hardware necesaria sin arriesgar una falta o un exceso de recursos.

Recursos adicionales 📚

Si estás interesado en aprender más sobre los fundamentos matemáticos que respaldan estas técnicas de pronóstico, te recomiendo un libro de código abierto escrito por Rob Heineman. También puedes consultar nuestras publicaciones y blogs para obtener más información sobre los métodos de pronóstico que utilizamos en Uber.

Oportunidades de carrera en Uber 🚀

Si te apasiona el campo de los pronósticos y te gustaría trabajar en aplicaciones del mundo real en Uber, tenemos oportunidades de empleo disponibles para científicos de datos, ingenieros y gerentes de productos. También estamos organizando un evento de tecnología el 19 de abril, donde se discutirán en detalle nuestras tecnologías y casos de uso, incluido el procesamiento de lenguaje natural y, por supuesto, los pronósticos.

¡Muchas gracias por su atención y espero que esta charla haya sido informativa y ayudado a comprender mejor cómo aplicamos el pronóstico avanzado en Uber!

Most people like

Are you spending too much time looking for ai tools?
App rating
4.9
AI Tools
100k+
Trusted Users
5000+
WHY YOU SHOULD CHOOSE TOOLIFY

TOOLIFY is the best ai tool source.