Predicción de Movimiento con MotionLM: Un enfoque innovador
Índice
- Introducción
- Uso de modelos de secuencia modernos en la predicción de tokens
- Modelos de lenguaje autoregresivos
- Predicción de comportamiento de usuarios en la vía
- Modelos de predicción conjunta
- Modelos de predicción conjunta con factorización autoregresiva
- Modelo Motion LM para la predicción conjunta y generación de trayectorias
- Tareas de predicción de comportamiento utilizando Motion LM
- Enfoque de entrenamiento del modelo Motion LM
- Generación de trayectorias autoregresivas
- Modelo de secuencia discreta en dominios continuos
- Arquitectura del modelo Motion LM
- Ego agent y los marcos de referencia
- Enforcando la temporalidad causal
- Rollout aggregation y mejora de las predicciones conjuntas
- Predicción de interacciones entre agentes
- Resultados en desafíos de predicción de movimiento
- Predicción interactiva de movimiento
- Frecuencia de atención interactiva durante los rollouts
- Número de rollouts generados y su impacto en las predicciones
- Condicionamiento causal y temporal para mejorar las predicciones
⭐ Predicción Conjunta de Movimiento con Modelos Autoregresivos
La predicción del movimiento de múltiples agentes en escenarios de conducción es una tarea compleja que requiere comprender las interacciones y comportamientos entre los usuarios de la vía. En este artículo, exploraremos el uso de modelos de secuencia modernos en la predicción conjunta de movimientos. Estos modelos, conocidos como Modelos Autoregresivos de Lenguaje (MALM), son capaces de capturar las dependencias temporales en la secuencia de tokens de movimiento, permitiendo generar trayectorias realistas para cada agente en el escenario.
1. Introducción
En la conducción, los usuarios de la vía interactúan constantemente, reaccionando y respondiendo a las acciones de otros usuarios para navegar de manera segura. Igual que los modelos de lenguaje pueden predecir el flujo de una conversación, proponemos utilizar modelos de secuencia similares para predecir el comportamiento de los usuarios de la vía. En este artículo, presentamos el modelo Motion LM, que combina la generación de trayectorias con la modelización de interacciones en un proceso de decodificación temporalmente causal sobre tokens discretos de movimiento.
2. Uso de modelos de secuencia modernos en la predicción de tokens
El uso de modelos de secuencia modernos, como los Modelos Autoregresivos de Lenguaje (MALM), ha demostrado ser eficaz en la predicción del siguiente token en una secuencia sin contar con conocimiento específico del dominio. Estos modelos son entrenados para predecir el siguiente subconjunto basado en el texto precedente, sin necesidad de comprender previamente el análisis sintáctico o la sintaxis. Este método también ha tenido éxito en dominios continuos como la generación de audio e imágenes.
3. Modelos de lenguaje autoregresivos
Los modelos de lenguaje autoregresivos son una técnica utilizada para predecir el siguiente token en una secuencia basándose en los tokens previos. Estos modelos son entrenados utilizando el concepto de teacher forcing, donde se proporciona al modelo la secuencia de acciones correctas en cada paso, en lugar de las predicciones propias del modelo. Esto ayuda a estabilizar el proceso de entrenamiento y elimina la necesidad de muestreo durante el entrenamiento.
4. Predicción de comportamiento de usuarios en la vía
En el contexto de la conducción, los usuarios de la vía pueden verse como participantes en una conversación continua, constantemente reaccionando y respondiendo a las acciones de los demás para navegar por esta compleja red de interacciones. Para poder predecir las posibles acciones y respuestas de los demás usuarios de la vía, es fundamental utilizar modelos que puedan capturar estas interacciones. Al igual que los modelos de lenguaje pueden predecir el flujo de una conversación, proponemos utilizar modelos de secuencia similares para predecir el comportamiento de los usuarios de la vía.
5. Modelos de predicción conjunta
Un enfoque común para modelar el estado futuro del mundo es descomponer la distribución conjunta del comportamiento de los agentes en distribuciones independientes para cada agente. Sin embargo, estas predicciones marginales no son suficientes para un sistema de planificación, ya que no tienen en cuenta las dependencias futuras entre las acciones de diferentes agentes, lo que lleva a pronósticos inconsistentes. Algunos modelos de predicción conjunta existentes separan la generación de trayectorias marginales y el cálculo interactivo. Por ejemplo, pueden generar un pequeño conjunto de trayectorias marginales para cada agente de forma independiente y luego asignar un potencial aprendido a cada par de trayectorias interagentes utilizando un algoritmo de propagación de creencias. Estos modelos pueden capturar la correlación entre un agente líder que disminuye la velocidad y un agente seguidor que disminuye la velocidad, pero pueden no inferir cuál de ellos está causando que el otro disminuya la velocidad.
6. Modelos de predicción conjunta con factorización autoregresiva
En contraste, los modelos conjuntos anteriores que utilizan una factorización autoregresiva sí respetan las dependencias temporales futuras. Estos modelos generalmente se basan en variables latentes explícitas para la diversidad optimizada a través de un límite inferior de evidencia o de un flujo de normalización. En nuestro trabajo, proponemos un modelo Motion LM que combina la generación de trayectorias con la modelización de interacciones en un solo proceso de decodificación causal temporal sobre tokens discretos de movimiento. Este modelo se entrena para maximizar la probabilidad logarítmica de estas secuencias de tokens entre agentes que interactúan. En el momento de la inferencia, se producen trayectorias conjuntas paso a paso, donde los agentes que interactúan muestrean tokens simultáneamente, se atienden entre sí y se repiten.
Conclusion:
En este artículo, hemos explorado el uso de modelos de secuencia modernos en la predicción conjunta de movimientos. Nuestro modelo Motion LM combina la generación de trayectorias con la modelización de interacciones, lo que nos permite predecir el comportamiento de múltiples agentes en escenarios de conducción. A través de experimentos y desafíos de predicción, hemos demostrado que nuestro modelo supera a los enfoques anteriores y proporciona predicciones más precisas y realistas. Con su capacidad para capturar la diversidad y considerar las dependencias temporales, el modelo Motion LM representa un avance significativo en la predicción conjunta de movimientos.