技术分享
如何高效识别和提取驾驶记录中的场景
基于场景的验证是AD/ADAS（自动驾驶和高级驾驶辅助）系统开发过程中的重要步骤，它包括对自动化系统进行一系列预定义场景的测试。测试中包含的场景越多，尤其挑战性场景越多，人们对正在测试的AD/ADAS系统的信心就越高。
一、行业背景与挑战
真实世界驾驶记录是挑战性场景的重要来源，但这一过程往往成本高昂且繁琐。大多数情况下，真实世界驾驶记录中包含许多“空驶里程”，即没有任何值得关注的事情发生的里程（例如车辆在空旷的道路上直线行驶且天气条件完美）。“空驶里程”对AD/ADAS系统的验证贡献微乎其微，一支小型的测试车队就能轻松产生PB级的数据。
在面对巨量数据时，人们通常需要思考几个问题：
- 这些数据中有多少是相关的？
- 车辆在没有周围车辆的情况下行驶了多长时间？
- 工程师是否需要手动逐个检查所有不相关和无风险的场景？
- 工程师是否应该完全依赖操作人员（在驾驶过程中）标注相关场景，而忽略其他所有内容？
为了解决以上问题，我们发现能够自动从真实世界驾驶记录中识别挑战性场景是十分重要的。这可以减少存储在“热存储”（如AWS S3）中的数据量，因为人们可以决定只将相关且具有挑战性的场景存储在“热存储”中，而将剩余数据存储在“冷存储”（如AWS Glacier）中。
此外，由于只需要检查相关场景，自动识别挑战性场景还可以减少验证工作。此外在将AD/ADAS系统适应到新的操作设计域（Operational Design Domain，ODD）之前，识别挑战性场景也是一个很好的做法，因为人们希望尽可能多地在该特定ODD的各种场景下测试系统的功能。
然而，识别挑战性场景并非易事，因为必须浏览数千小时的驾驶数据，并判断某个场景是否值得被选中。因此，能够以一种自动且可解释的方式从驾驶记录中提取这些场景至关重要。
二、如何识别具有挑战性的场景
识别挑战性场景的第一步是使用配备传感器的数据采集平台收集驾驶数据。通常，这些数据采集平台应能够记录定位和传感器信息（图像、点云等）。数据采集平台可以是由人类驾驶员手动驾驶的车队。
在收集到数据后，可以使用IVEX识别挑战性场景并进行数据分析。IVEX包含不同的指标，从基于行为的安全指标（例如ISO 15623的定义的碰撞时间TTC）到基于感知的指标（例如消失物体检测）。
IVEX使用多种指标的组合来评估每个驾驶片段，并提取出被认为是挑战性场景的部分。用户还可以向平台添加自定义指标。识别出的挑战性场景可以导出为不同的格式，如OpenScenario、CSV、JSON，或者简单地链接到原始数据输入。
三、应用案例——道路施工挑战性场景
道路施工的情境下，自车需要行驶于通常建立在路肩的临时车道上。尽管我们知道并非所有AD/ADAS都需要处理这类场景事件，但根据自动驾驶的级别和ODDs的不同，这种情况仍然会构成挑战，应当纳入测试集。
根据美国汽车工程师学会（Society of Automotive Engineers, SAE）的自动化等级标准，一个处于2级或3级的系统进入这种场景时，应能够及时解除自动驾驶并通知驾驶员；而对于4级或5级的系统，这种情况可能会打破ODD的假设，需要远程操作员接管或者通知自驾车队意料之外的道路施工区域。
本文的案例是一个从布鲁塞尔出发往巴黎并返回布鲁塞尔、历时8小时的驾驶记录。完整的驾驶记录文件大小约为2TB。我们使用IVEX从中提取出了几个挑战性场景（总计5分钟），将录制存储减少到20GB，节省了一个数量级的存储。
以提取出的7秒循环场景为例，这个场景包含了非常复杂的上下文信息。首先，由于这是一个道路施工区域，通常使用黄色车道标记来指示车道区域和可行驶区域。然而，从图片中可以看出，这些黄色车道标记并不容易区分，旧的白色道路标线仍然非常明显，这使得情况更加具有挑战性。其次，由于新的车道标记，自动驾驶车辆必须行驶在通常禁止通行的区域（例如图示底部白色导流线区域）和路肩区域。最后，有一个位置不太好的交通标志指示了70公里/小时的临时限速，AD/ADAS应该能够检测到这一点并给出相应反馈。
