康谋新闻
aiMotive实时占据预测模型CCLSTM
获Waymo占据与运动预测挑战赛第一名
11/08/2024
康谋科技合作伙伴 aiMotive，其由 Peter Lengyel研发的实时占据预测模型 ——CCLSTM，在自动驾驶领域最具权威性的 “2024 Waymo占据与运动预测挑战赛” 中，一举拿下所有评估指标的第一名！
这一成绩不仅印证了 CCLSTM 的顶尖性能，更凸显康谋与 aiMotive 携手布局自动驾驶核心技术的前瞻性，为行业突破运动预测难题提供了强力支撑。
CCLSTM 模型霸榜 Waymo 挑战赛
作为 aiMotive 推出的创新神经网络架构，CCLSTM 本质是一款基于卷积的全卷积循环模型，专门为预测未来占用情况与运动流场设计。
CCLSTM 针对具有卷积加速的神经处理单元（NPU）进行了优化，在 2024 年 Waymo 职业流量预测挑战赛中提供了最先进的（SOTA）性能，同时保持了从相机输入到未来运动预测的实时效率和完整的端到端可训练性。其核心优势源于 Peter Lengyel 的专利技术 —— 通过创新性融合卷积建模与循环建模，既提升了运动预测的准确性，又强化了运行效率；
为何 CCLSTM 成协同之选？
- 现有问题
大多数传统解决方案可归为两类：
- 基于启发式的流水线方法：依赖手工设计的规则和简单的目标跟踪，这类系统会丢失语义深度，且泛化能力较差。
- 多阶段深度学习模型：尽管复杂度更高，但这类方案通常将检测、跟踪和预测拆分为独立模块，限制了整体性能和端到端优化的可能性。
CCLSTM 则弥合了这两类方法的差距，它采用单一统一的模型，既具备可解释性，又支持整体训练，能够为自动驾驶系统提供更安全、更具适应性的决策能力。
- 关于CCLSTM
预测动态智能体的未来运动是自动驾驶领域的核心能力之一。CCLSTM 采用 “占用流场”（Occupancy Flow Fields）来应对这一任务 —— 这种表示方式丰富且具备可扩展性，能在统一框架内同时捕捉运动状态、空间范围和多模态未来可能性。
与传统的 “检测 - 跟踪” 流水线方法或基于 Transformer 的方法不同，CCLSTM 具有以下优势：
- 全卷积特性：完全由卷积运算构建而成，适合部署在现代神经网络处理器上（如aiWare）。
- 循环与自回归特性：通过循环方式对历史信息进行编码，理论上支持无限时长的历史回溯；同时采用自回归方式，可预测任意时间范围的未来状态。
- 端到端可训练性：能与鸟瞰图（BEV）编码器无缝集成，无需中间封装或独立模块。
- 可解释性与可控制性：保留语义丰富度，支持动态行为控制（例如结合不同驾驶风格进行路径规划）。
CCLSTM模型架构概述：
- 输入处理：栅格化输入数据沿通道维度拼接，通过CNN编码器进行特征提取
- 时序聚合：由累加器CLSTM对编码特征进行时序融合（隐藏状态与细胞状态用于初始化预测模块）
- 自回归预测：预测CLSTM通过自回归方式生成未来时序的编码状态
- 输出解码：未来隐藏状态经CNN解码器生成：
- 三维占据栅格（Occupancy grids）
- 运动流场（Flow fields）