MotionLM：多代理運動預測如同語言建模

目錄：

1. 簡介
2. 階段一：自動回歸軌跡預測
   • 2.1 關於自動回歸軌跡預測
   • 2.2 在連續領域中的離散序列建模
   • 2.3 Motion LM模型
   • 2.4 訓練目標
   • 2.5 Ego代理參考框架
   • 2.6 強制時間因果關係
3. 階段二：交互式運動預測
   • 3.1 模型表現
   • 3.2 交互式預測挑戰
   • 3.3 交互式預測的影響因素
   • 3.4 軌跡滾動聚合
   • 3.5 包含因果條件訓練
4. 結論
5. 常見問題解答

階段一：自動回歸軌跡預測

🚗 自動回歸軌跡預測是一種預測場景中多個汽車或行人等行為的未來軌跡的方法。通常使用軌跡生成方式，在固定的時間間隔內生成多個聯合軌跡。這種方法可以根據所學習的離散運動令牌分布直接抽樣，而無需依賴於潛在變量或波束搜索等複雜技術。

🚗 在連續領域中生成序列的常見方法是將輸出空間分解為離散部分，在每一步預測分類分佈。我們用這種方法處理多個場景，如圖像生成和音頻生成。我們使用一種簡單的均勻量化方法，將連續軌跡的軸對齊增量處理為離散運動令牌的序列。

🚗 我們的主要模型是 Motion LM，用於以可以應用於不同任務的方式對多個代理之間的交互進行建模。這些任務包括邊際、聯合和條件預測。我們的模型在訓練時使用專注於場景編碼的交叉注意力和對代理運動令牌的自我注意力進行解碼，生成多個代理的運動令牌序列。

🚗 為了更好地捕捉駕駛場景中的多樣性，我們將複數響應建模成一個小的聯合軌跡集合，並使用聚合技術來估計它們的概率。我們還使用模型結合來提高預測的質量。我們的模型在 Waymo OpenMotion 數據集上取得了良好的結果，並且在交互預測挑戰中優於其他方法。

階段二：交互式運動預測

🚗 我們的模型在交互式運動預測挑戰中表現優異，平均精度（map）提升了百分之六，錯誤率（miss rate）下降了百分之三，相較於前一名的模型。

🚗 與以往的方法不同，我們的模型不是對預先設定好的邊際軌跡配對進行打分，而是直接生成聯合軌跡。我們的模型具有最低的預測重疊率，這意味著它能夠生成與場景一致的預測。

🚗 我們在驗證集上測試了我們模型的兩個版本，一個不使用代理間的關聯注意力（邊際版本），一個使用交互式注意力（聯合版本）。

🚗 聯合版本的重疊率比邊際版本低了38%。這表明，交互式注意力能夠使代理之間更有效地作出反應。

🚗 我們還研究了交互式注意力的頻率對預測性能的影響。我們發現，隨著交互式注意力的頻率增加，性能通常會提高。更高的交互式注意力頻率不僅可以提供更準確的聯合預測，還可以減少不合理的預測重疊或碰撞。

🚗 我們生成的軌跡數量也很重要。我們需要從模型中生成足夠的樣本來準確表示多樣性的未來分佈。我們發現，隨著生成的軌跡數量增加，性能也有所提高。在最終結果中，我們使用每個複製品的 512 條軌跡，但我們發現使用 32 條軌跡就足以超越聯合map的前一名。

🚗 我們的模型還支持時間因果條件訓練，其中我們固定一個代理以遵循指定的軌跡，並隨機生成目標代理的軌跡。我們還可以修改模型，以在訓練過程中將查詢代理的完整軌跡暴露給目標代理。這些條件訓練方式都可以使目標代理的預測更加準確。

結論

🚗 本文介紹了一種稱為 Motion LM 的模型，它結合了軌跡生成和交互建模，用於多代理運動預測。我們的模型使用一種以因果關係為靈感的訓練目標，訓練了一個能夠在多代理之間模擬觀察到的行為的生成模型。我們的模型在交互預測挑戰中表現優異，提高了預測的準確性和多樣性。

常見問題解答：

問：Motion LM 模型在哪些任務上可以應用？ 答：Motion LM 模型可以應用於邊際、聯合和條件預測等多個多代理運動預測任務。

問：Motion LM 模型在 Waymo OpenMotion 數據集上取得了什麼樣的表現？ 答：Motion LM 模型在 Waymo OpenMotion 數據集上取得了優異的結果，在交互式預測挑戰中表現最佳，優於其他方法，同時降低了錯誤率和重疊率。

問：我們的模型如何處理過去和未來的行為？ 答：我們的模型僅受過去的行為影響，而無法預測未來的行為。這一點受到在訓練過程中只允許模型根據過去行為更新表示的掩碼的限制。

問：在預測過程中，我們如何確定不同代理的交互作用？ 答：我們的模型使用交互式注意力機制來促進不同代理之間的交互作用，這可以使代理更有效地相應對方的行為。此外，我們還使用聚合技術來表示不同代理的可能未來行為。

問：我們的模型如何處理預測的多樣性？ 答：我們的模型使用聚合技術來估計可能的未來行為的幾個主要模式，並給每個模式分配一個概率。這樣可以提高預測的質量和多樣性。

問：我們的模型如何處理複雜場景中的多樣性？ 答：我們的模型通過使用交叉注意力和自我注意力來處理複雜場景中的多樣性。交叉注意力用於處理初始場景元素的訊息，自我注意力則用於處理代理的運動令牌序列。

問：我們的模型是否支持因果條件訓練？ 答：是的，我們的模型支持因果條件訓練，這可以幫助使目標代理的預測更加準確。