1. 从“感知-规划-控制”到“世界-认知-行动”的范式跃迁如果你在自动驾驶领域摸爬滚打过几年尤其是深度参与过端到端End-to-End系统的研发那你一定对“感知-规划-控制”这条经典流水线又爱又恨。爱的是它的模块化设计清晰明了恨的是模块间的“缝隙”常常成为系统失效的阿喀琉斯之踵。一个典型的场景是感知模块识别出一个远处的模糊物体给出了一个摇摆不定的边界框和类别置信度这个充满不确定性的信息被“硬塞”给下游的规划模块规划器要么选择相信要么选择忽略但无论哪种选择都可能因为信息损失或误判而导致危险。更棘手的是长尾场景——那些训练数据里极少出现但现实世界总会冷不丁冒出来的情况比如一辆拖着异形货物的卡车、一个形状怪异的临时路障或者一场突如其来的沙尘暴。在这些场景下传统感知模块的“脆弱性”会被急剧放大进而导致整个驾驶链条的崩溃。这正是我读到Percept-WAM这篇论文时感到兴奋的原因。它没有在原有的“感知-规划-控制”框架里修修补补而是提出了一个更具颠覆性的思路World-Awareness-Action Model世界-认知-行动模型。这个名字本身就意味深长。“世界”指的是对物理环境的全面、稠密理解不仅仅是识别物体更要理解它们的空间关系、运动状态和物理属性。“认知”则是在理解世界的基础上形成一种类似人类驾驶员对全局态势的“意识”知道哪里是安全的哪里有潜在风险以及不同交通参与者可能的意图。“行动”则是基于这种认知直接输出控制指令。Percept-WAM的核心贡献在于它首次在一个统一的视觉语言模型VLM内部隐式地集成了强大的2D/3D场景理解能力让“世界认知”这一步变得前所未有的扎实和鲁棒。它试图回答一个根本问题如果让模型自己学会“看”懂世界并基于这种理解去“思考”和“行动”是不是能构建出更稳定、更通用的自动驾驶大脑2. 传统VLM的“空间失明”与Percept-WAM的“世界令牌”解法要理解Percept-WAM的突破得先看看它要解决什么问题。论文开篇就点出了当前基于视觉语言模型VLM的自动驾驶系统的核心短板空间基础Spatial Grounding和理解能力弱。这其实很好理解。主流的VLMs比如我们熟知的那些多模态大模型它们擅长的是“看图说话”——给你一张图它能生成一段流畅的文字描述。但这种能力本质上是“语义层面”的是“离散”和“抽象”的。当你问它“图里有多少辆车”或者“那辆红色的车在左边还是右边”它或许能答对。但如果你要求它精确地指出每辆车在图像像素坐标系中的位置2D检测或者更进一步的在鸟瞰图BEV坐标系中给出每辆车的三维位置、尺寸和朝向3D检测传统VLM就捉襟见肘了。这是因为传统的VLM通常采用“问答式”QA-style的空间推理。模型需要先理解问题“请框出所有车辆”再去图像中寻找答案。这个过程是串行的、基于语言指令的并且输出的位置信息往往是离散的、非稠密的。对于自动驾驶这种对空间精度和实时性要求极高的任务来说这种方式太“慢”也太“糙”了。它无法提供自动驾驶规划所需要的、稠密的、带置信度的空间感知结果。Percept-WAM的解法非常巧妙它提出了“世界令牌”World Tokens的概念。具体来说它设计了两种核心的世界令牌2.1 World-PV令牌稠密的2D感知基石World-PVPerspective View令牌负责编码图像视角下的感知信息。想象一下我们把输入的前视摄像头图像在特征层面划分成一个密集的网格比如80x45。对于网格中的每一个位置cell模型不再只是输出一个抽象的语义特征而是直接预测一组与这个位置相关的、稠密的物体属性。这组属性包括空间坐标物体边界框的中心点x, y、宽w、高h。类别信息这是一个什么物体车、人、交通灯等。关键置信度模型对这个预测有多确信。这里的关键在于“稠密”和“并行”。模型不是被一个个问题引导着去“找”物体而是像撒下一张感知的“网”对图像每一个可能的位置都进行了一次快速的“扫描”和“评估”。这种机制天生就更适合处理小目标和远距离目标因为无论目标多小、多远只要它在某个网格内就有机会被“网”住并预测出来。2.2 World-BEV令牌统一的3D世界认知如果说World-PV令牌让我们看清了眼前那么World-BEVBird‘s-Eye-View令牌则让我们构建了对周围世界的统一三维认知。这是Percept-WAM更核心的一环。自动驾驶的规划决策发生在鸟瞰图空间。传统方法需要将多个摄像头的2D感知结果通过复杂的、容易出错的几何投影和融合算法转换到BEV空间。Percept-WAM跳过了这个繁琐且脆弱的中间步骤。它让模型直接学习生成BEV空间的令牌。这些令牌同样以网格形式组织比如200x200的BEV网格每个BEV网格的令牌编码了该位置在真实世界中的三维信息3D位置x, y, z坐标。3D尺寸与朝向物体的长、宽、高和航向角yaw。运动状态速度、加速度等这对于预测意图至关重要。语义与置信度。World-PV和World-BEV令牌之间存在着隐式的、由模型学习到的对齐关系。模型在训练过程中学会了如何从多视角的2D图像特征直接推理出统一的3D场景表示。这相当于在VLM内部内置了一个强大的、可学习的“逆透视变换IPM”和“多视图几何”模块。这种隐式集成避免了显式几何模型对相机标定误差、路面不平假设的敏感性问题大大提升了3D感知的鲁棒性。3. 网格条件预测与并行解码如何让稠密预测既准又稳提出了“世界令牌”这个表示方法只是第一步如何让模型高效、稳定地预测出这些令牌才是工程上的硬骨头。Percept-WAM在这里引入了两个关键设计网格条件预测Grid-Conditioned Prediction和并行自回归解码Parallel Autoregressive Decoding。3.1 网格条件预测为每个位置定制化输出传统的目标检测器无论是YOLO还是DETR系列其输出在某种程度上是“无序”或“基于查询”的。Percept-WAM的网格条件预测则是一种“位置先验”极强的设计。它明确地将输出空间与输入图像的或BEV空间的网格位置绑定。具体流程是这样的特征提取与网格化输入图像经过视觉编码器如ViT得到一系列图像块patch特征。这些特征被重新排列与预设的PV网格或BEV网格对齐。条件化生成对于每一个目标网格位置i, j模型将当前网格的特征、以及其周围网格的上下文特征通过注意力机制获取作为条件。属性预测基于这个强条件的上下文模型并行地预测出该网格位置所关联物体的所有属性坐标、类别、置信度等。这样做的好处是显而易见的。首先它极大地稳定了训练过程。因为每个位置的预测任务相对独立且明确模型更容易学习到位置与物体属性之间的映射关系减少了训练中的歧义性。其次它天然地支持开放词汇Open-Vocabulary检测。由于模型是基于强大的VLM主干网络其语义理解能力极强只要在文本侧给出新的类别描述模型就有潜力在对应的网格位置预测出这个新类别而不需要重新训练检测头。这对于处理长尾、罕见物体至关重要。3.2 交并比感知评分与并行解码告别“摇摆不定”感知不稳定的一大表现是同一物体在不同帧之间其边界框的位置和大小会“抖动”。Percept-WAM通过IoU-aware Scoring交并比感知评分机制来缓解这个问题。在训练时模型不仅学习预测一个物体是否存在分类得分还学习预测预测框与真实框之间的IoU交并比。在推理时最终的置信度得分是分类得分与预测IoU得分的结合。这意味着模型会对那些“位置预测得准”的框给予更高的置信度。一个边界框哪怕分类得分高但如果模型自知其位置预测得不准预测IoU低其最终得分也会被拉低。这引导模型输出更加“校准”Calibrated的置信度让下游模块能更好地利用不确定性信息。更精彩的是其并行自回归解码策略。传统的自回归模型如GPT是一个词一个词地生成速度慢。Percept-WAM要预测成千上万个网格的属性如果串行解码是不可想象的。它的并行解码体现在令牌内部并行对于一个网格位置要预测的多个属性如中心点x、y宽w高h类别c这些属性被组织成一个令牌序列。在解码这个序列时模型可以并行地预测这些属性因为它们共享相同的网格上下文条件。网格之间部分并行虽然严格意义上的全并行难以实现因为不同网格的物体可能存在遮挡等依赖关系但通过巧妙的注意力掩码设计模型可以大幅增加并行度。这种设计在保持自回归模型序列建模优势能处理输出间的依赖关系的同时显著提升了推理效率使得稠密的“世界令牌”预测能够达到实用的速度。4. 从“看见”到“行动”闭环驾驶性能的实质提升Percept-WAM不仅仅是一个强大的感知模型它的终极目标是作为“世界认知”的核心驱动端到端的自动驾驶。论文中展示了如何将Percept-WAM与轨迹解码器Trajectory Decoder集成形成一个完整的感知-决策模型。流程可以概括为多摄像头图像输入多个环视摄像头图像送入Percept-WAM。生成世界令牌模型并行生成稠密的World-PV和World-BEV令牌。此时我们已经得到了一个丰富的、带置信度的、统一在BEV空间下的3D场景表示。这个表示不仅包含了“有什么物体”还包含了“它们在哪、多大、怎么动”。令牌作为规划条件这些World-BEV令牌可以看作是一组高度结构化的场景特征被输入到一个轨迹解码器可以是一个轻量化的Transformer或MLP。自回归轨迹生成轨迹解码器以自回归的方式以前述场景特征和历史自车轨迹为条件生成未来一段时间内自车的规划轨迹一系列路径点。控制输出最终的轨迹可以被转换为车辆的控制指令方向盘转角、油门、刹车。这种架构的优势在于感知与规划的深度耦合。规划器接收的不是原始的、可能含噪的检测框列表而是经过VLM深度理解并编码后的“世界认知”特征。这些特征里蕴含了模型对场景的语义理解、空间关系和不确定性的评估。规划器在此基础上做决策自然更加合理和鲁棒。论文的实验数据有力地支撑了这一点。在NAVSIM一个专注于规划评估的仿真基准上集成了Percept-WAM的模型在规划模态离散度评分PMDS这一关键指标上超越了强大的DiffusionDrive模型2.1个点。PMDS衡量的是规划轨迹的合理性和多样性这个提升意味着Percept-WAM提供的场景表示能让规划器生成更合理、更安全的轨迹。这不仅仅是感知指标的提升更是系统级驾驶性能的实质进步。5. 实验结果与启示不仅仅是SOTA更是新路径的验证Percept-WAM在各项基准测试中都取得了亮眼的成绩这些数字背后传递的信息比单纯的“刷榜”更重要。感知能力媲美专用模型在COCO 2D检测上达到51.7/58.9 mAP在nuScenes BEV 3D检测上也达到领先水平。这证明了一个统一的VLM通过恰当的结构设计其感知精度完全可以与精心设计的、任务专用的检测器如FCOS3D, BEVFormer相媲美甚至超越。它打破了“通用模型不如专用模型”的刻板印象。长尾与开放词汇泛化定性实验展示了模型在面对训练数据中极少出现的物体如特种工程车辆、动物时的出色识别能力。这种能力源于其强大的VLM主干所具备的开放世界语义知识。对于自动驾驶来说这是迈向更高安全等级的关键一步。端到端性能提升如前所述在NAVSIM上的规划指标提升是Percept-WAM价值最直接的体现。它验证了“更好的世界认知直接导致更好的驾驶行动”这一核心假设。从工程实践的角度看Percept-WAM也带来了一些启发和待思考的挑战计算效率虽然采用了并行解码但一个如此庞大的、统一感知与认知的模型其计算开销必然不小。在实际车载芯片上的部署和优化将是决定其能否落地的关键。数据需求训练这样的模型需要海量的、高质量的多任务标注数据2D框、3D框、BEV分割等。数据集的构建和标注成本极高。可解释性与调试当感知、认知、规划在一个黑盒模型里紧密耦合时如果系统出现错误定位问题的根源将变得异常困难。如何对“世界令牌”进行可视化和诊断是需要配套开发的重要工具。安全认证现有的自动驾驶安全标准和流程很大程度上是基于模块化架构建立的。对于Percept-WAM这种端到端的一体化模型如何向监管机构证明其安全性和可靠性是一个全新的课题。6. 总结与展望迈向具身智能的“世界模型”Percept-WAM的出现在我看来不仅仅是提出了一个新模型更是指向了自动驾驶乃至更广泛的机器人领域的一个演进方向构建具备深度世界认知能力的具身智能体。它把自动驾驶从“拼接专家模块”的工程思维向“培养一个具备空间理解能力的智能体”的认知思维推进了一步。这个智能体通过“世界令牌”来理解和表达环境这种表达既是稠密的、几何的也是语义的、不确定性的。它模糊了传统意义上感知、预测、规划的界限让“看-想-动”成为一个更连贯、更内聚的过程。当然这条路才刚刚开始。Percept-WAM目前主要验证了在结构化道路场景下的可行性。未来的挑战包括如何将其扩展到更复杂的城市泛化场景、如何处理更长时间跨度的预测与规划、如何与高清地图、V2X等信息源更灵活地融合以及最终如何以可负担的成本实现车规级的量产部署。对我个人而言最值得关注的是其“隐式集成”的思想。它没有显式地设计一个3D重建模块、一个多视图融合模块、一个目标跟踪模块而是通过设计合适的学习目标预测世界令牌和模型架构让一个统一的模型自己学会所有这些能力。这或许预示着未来自动驾驶系统的核心竞争力将越来越从“精巧的算法模块设计”转向“如何定义更本质的学习任务”以及“如何构建与利用超大规模多模态数据”上来。Percept-WAM为我们推开了一扇门门后的道路漫长但充满可能。
