从像素到世界：3DGS 与虚拟数据如何重塑 AI 仿真
从像素到世界：3DGS 与虚拟数据如何重塑 AI 仿真
- 钟万军 | 高级技术工程师，康谋科技
自动驾驶仿真依赖高保真场景重建与海量虚拟数据的协同工作，而3D高斯场景重建技术（3DGS）是确保仿真真实性与效率的核心。如何平衡渲染质量与实时性能，实际应用中如何实现从实验室到量产的无缝过渡？
本场演讲围绕3DGS在AI仿真中的创新应用展开，探讨其在自动驾驶感知、决策规划和控制执行中的关键作用。介绍目前主流的技术路线，包括静态场景重建、动态物体注入、虚实数据融合等解决方案，同时通过丰富的应用案例，展示3DGS方案在实际项目中的落地效果——从HIL测试到端侧部署，增强仿真系统的整体真实性和迭代速度。
（点击视频观看高清版本）
精选Q&A
3DGS与其他重建方法相比，最大的优势是什么？
3DGS的核心优势在于它实现了“高质量”与“实时性”的完美统一：它通过将三维场景表示为可直接由 GPU 高效渲染的数百万个高斯点云，彻底摆脱了传统神经网络渲染（如 NeRF）的沉重计算负担，使得开发者在几分钟内即可完成训练，并能以每秒百帧以上的速度实时交互，同时还支持直接对场景进行移动、删除或编辑，是目前兼具极致渲染速度、训练效率与可编辑性的三维建模最优解。
重建的场景里面有尝试添加物理属性吗？
目前3DGS重建的场景是静态物体，本身已带有一定的物理属性，比如色彩、光照、不透明度等等，还没有去主动添加一些物理属性。
3DGS 轻量化、实时渲染优化目前做到什么程度？
目前是可以部署在端测的，渲染速度是看仿真的传感器配置的，传统的l4级别的传感器设置在4张4090下是没有问题的。
展示的3DGS场景中动态物体也是高斯重建的吗？
我们目前的数据集是开源策略，如果有特定场景要求，我们可以提供场景搭建和数据集生成服务。
面向车企/机器人企业/工业集成商等不同客户群体，3DGS+数据仿真方案的商业化落地模式是什么？
针对3DGS的重建场景，我们采用了‘静态背景+动态注入’的策略：由于 3DGS 渲染更适用于静止几何体，我们在重建阶段会首先剔除动态物体以消除伪影；随后，利用 OpenSCENARIO 格式定义动态交通流，将物体动态地置入场景中，从而在保证高质量背景建模的同时，实现灵活的场景仿真。
3DGS只能解决静态的问题，那4DGS是否可以解决动态问题？后面4DGS是否会是大一统方案？
4DGS加入了时间纬度，实现了动态目标的重建。但高斯球本质上是无拓扑结构的体积云，缺乏明确的物理表面，对于底层的物理碰撞，还是需要mesh，所以4DGS不会是最终的重建方案。