Summary

• from Uber
• 1 agentごとの静的地図+他の車両など動的状況をラスタライズ化した画像をinputとした1 agent, single-modal prediction

Background

Method

• Input
  • Rasterized input
    • RGBの3chのデータ
    • 道路、横断歩道などvector mapの各レイヤーに固有のRGB値を定義 (横断歩道は白など)
    • 車線方向は向きに応じてHSV色空間から割り当て
      • 色相(Hue): 車線方向に対応. 0度は赤、120度は緑、240度は青
      • 彩度(Saturation), 明度(Value): 最大
      • HSV→RGBに変換
    • 検出した車両のbounding boxにも固有の色相を定義
      • 一定のタイムステップの追跡状態を表示
      • 過去の状態ほど明度を下げてフェーディング
    • 設定した色を,道路など広い領域のレイヤーから車線や,bounging boxなど細かい構造の順に重ねてrasterization
  • State input (注目車両の速度、加速度、向き)