合成数据在自动驾驶中的应用与验证优化实践
合成数据在自动驾驶中的应用与验证优化实践
- 袁航 | FAE高级工程师，康谋科技
自动驾驶技术如何突破真实数据不足的瓶颈？当摄像头无法捕捉极端天气场景、激光雷达难以复现罕见交通事故时，合成数据能否成为破局关键？
本场演讲带您深入了解合成数据在自动驾驶中的应用前景，探讨各种类型合成数据的获取方法，包括如何利用激光雷达和GPS进行感知、如何提取OpenSCENARIO数据等。结合具体案例，展示从场景搭建到验证优化的全流程。
精选Q&A
哪些数据可以用来进行合成？
包括但不限于：通过相机、激光雷达等传感器采集的真实世界数据（如3DGS和NeRF使用的相机激光雷达数据），以及通过IVEX场景挖掘与评估技术导出的仿真场景文件（这些文件可能包含了相机、激光雷达、GPS等多种传感器的数据）。
如何发现不同场景下的算法缺陷？
将迭代优化后的算法集成到实际自动驾驶系统中进行道路测试（真实路测）；基于 IVEX 平台，将路测数据转换为仿真场景进行测试；直接利用仿真平台（如 aiSim）搭建仿真场景并进行泛化测试，利用生成的合成数据集对自动驾驶算法进行验证和优化。
相机与其他传感器的时空同步机制如何实现？
在aiSim仿真器中，除了实时模式外，还支持在步进模式下保证所有传感器均以固定的频率进行触发，从而实现相机与其他传感器之间的时空同步，不存在时间戳的误差。
aiSim合成数据主要用什么技术重建？
- 工程师建模：手动搭建虚拟场景，如道路、建筑物等
- 3DGS：用于高效构建3D地图
- NeRF：通过环视相机图像重建3D地图，转换为仿真兼容格式
如何优化合成数据质量？
- 通过迭代优化算法来提高仿真精度（如通过比较仿真与真实世界的数据来调整传感器模型参数）
- 通过增加特定场景的合成数据来提高验证覆盖率（如针对极端天气、复杂道路环境等场景进行专门仿真）
- 以及结合真实世界的测量数据对仿真场景进行验证和优化（如比较仿真与真实世界中的道路标线、地形等调整仿真场景参数）
aiSim的仿真器支持哪些相机和雷达？
- 相机模型：无畸变相机、针孔相机、鱼眼相机等多种常见相机模型，支持自定义各类参数，从常见的畸变参数到一些可以提升真实度的过曝、泛光、光晕乃至脏污遮挡等效果
- 雷达模型：机械式激光雷达、固态激光雷达、毫米波雷达等
- 这些传感器均能输出识别到的对象，如车辆、行人等，相机还可以输出深度图、车道线、语义分割图、光流速度图等数据。