Predicción de Movimiento con MotionLM: Un enfoque innovador

Índice

1. Introducción
2. Uso de modelos de secuencia modernos en la predicción de tokens
3. Modelos de lenguaje autoregresivos
4. Predicción de comportamiento de usuarios en la vía
5. Modelos de predicción conjunta
6. Modelos de predicción conjunta con factorización autoregresiva
7. Modelo Motion LM para la predicción conjunta y generación de trayectorias
8. Tareas de predicción de comportamiento utilizando Motion LM
9. Enfoque de entrenamiento del modelo Motion LM
10. Generación de trayectorias autoregresivas
11. Modelo de secuencia discreta en dominios continuos
12. Arquitectura del modelo Motion LM
13. Ego agent y los marcos de referencia
14. Enforcando la temporalidad causal
15. Rollout aggregation y mejora de las predicciones conjuntas
16. Predicción de interacciones entre agentes
17. Resultados en desafíos de predicción de movimiento
18. Predicción interactiva de movimiento
19. Frecuencia de atención interactiva durante los rollouts
20. Número de rollouts generados y su impacto en las predicciones
21. Condicionamiento causal y temporal para mejorar las predicciones

⭐ Predicción Conjunta de Movimiento con Modelos Autoregresivos

La predicción del movimiento de múltiples agentes en escenarios de conducción es una tarea compleja que requiere comprender las interacciones y comportamientos entre los usuarios de la vía. En este artículo, exploraremos el uso de modelos de secuencia modernos en la predicción conjunta de movimientos. Estos modelos, conocidos como Modelos Autoregresivos de Lenguaje (MALM), son capaces de capturar las dependencias temporales en la secuencia de tokens de movimiento, permitiendo generar trayectorias realistas para cada agente en el escenario.

1. Introducción

En la conducción, los usuarios de la vía interactúan constantemente, reaccionando y respondiendo a las acciones de otros usuarios para navegar de manera segura. Igual que los modelos de lenguaje pueden predecir el flujo de una conversación, proponemos utilizar modelos de secuencia similares para predecir el comportamiento de los usuarios de la vía. En este artículo, presentamos el modelo Motion LM, que combina la generación de trayectorias con la modelización de interacciones en un proceso de decodificación temporalmente causal sobre tokens discretos de movimiento.

2. Uso de modelos de secuencia modernos en la predicción de tokens

El uso de modelos de secuencia modernos, como los Modelos Autoregresivos de Lenguaje (MALM), ha demostrado ser eficaz en la predicción del siguiente token en una secuencia sin contar con conocimiento específico del dominio. Estos modelos son entrenados para predecir el siguiente subconjunto basado en el texto precedente, sin necesidad de comprender previamente el análisis sintáctico o la sintaxis. Este método también ha tenido éxito en dominios continuos como la generación de audio e imágenes.

3. Modelos de lenguaje autoregresivos

Los modelos de lenguaje autoregresivos son una técnica utilizada para predecir el siguiente token en una secuencia basándose en los tokens previos. Estos modelos son entrenados utilizando el concepto de teacher forcing, donde se proporciona al modelo la secuencia de acciones correctas en cada paso, en lugar de las predicciones propias del modelo. Esto ayuda a estabilizar el proceso de entrenamiento y elimina la necesidad de muestreo durante el entrenamiento.

4. Predicción de comportamiento de usuarios en la vía

En el contexto de la conducción, los usuarios de la vía pueden verse como participantes en una conversación continua, constantemente reaccionando y respondiendo a las acciones de los demás para navegar por esta compleja red de interacciones. Para poder predecir las posibles acciones y respuestas de los demás usuarios de la vía, es fundamental utilizar modelos que puedan capturar estas interacciones. Al igual que los modelos de lenguaje pueden predecir el flujo de una conversación, proponemos utilizar modelos de secuencia similares para predecir el comportamiento de los usuarios de la vía.

5. Modelos de predicción conjunta

Un enfoque común para modelar el estado futuro del mundo es descomponer la distribución conjunta del comportamiento de los agentes en distribuciones independientes para cada agente. Sin embargo, estas predicciones marginales no son suficientes para un sistema de planificación, ya que no tienen en cuenta las dependencias futuras entre las acciones de diferentes agentes, lo que lleva a pronósticos inconsistentes. Algunos modelos de predicción conjunta existentes separan la generación de trayectorias marginales y el cálculo interactivo. Por ejemplo, pueden generar un pequeño conjunto de trayectorias marginales para cada agente de forma independiente y luego asignar un potencial aprendido a cada par de trayectorias interagentes utilizando un algoritmo de propagación de creencias. Estos modelos pueden capturar la correlación entre un agente líder que disminuye la velocidad y un agente seguidor que disminuye la velocidad, pero pueden no inferir cuál de ellos está causando que el otro disminuya la velocidad.

6. Modelos de predicción conjunta con factorización autoregresiva

En contraste, los modelos conjuntos anteriores que utilizan una factorización autoregresiva sí respetan las dependencias temporales futuras. Estos modelos generalmente se basan en variables latentes explícitas para la diversidad optimizada a través de un límite inferior de evidencia o de un flujo de normalización. En nuestro trabajo, proponemos un modelo Motion LM que combina la generación de trayectorias con la modelización de interacciones en un solo proceso de decodificación causal temporal sobre tokens discretos de movimiento. Este modelo se entrena para maximizar la probabilidad logarítmica de estas secuencias de tokens entre agentes que interactúan. En el momento de la inferencia, se producen trayectorias conjuntas paso a paso, donde los agentes que interactúan muestrean tokens simultáneamente, se atienden entre sí y se repiten.

Conclusion:

En este artículo, hemos explorado el uso de modelos de secuencia modernos en la predicción conjunta de movimientos. Nuestro modelo Motion LM combina la generación de trayectorias con la modelización de interacciones, lo que nos permite predecir el comportamiento de múltiples agentes en escenarios de conducción. A través de experimentos y desafíos de predicción, hemos demostrado que nuestro modelo supera a los enfoques anteriores y proporciona predicciones más precisas y realistas. Con su capacidad para capturar la diversidad y considerar las dependencias temporales, el modelo Motion LM representa un avance significativo en la predicción conjunta de movimientos.