DriveVLM

什么是DriveVLM

• DriveVLM 是一套自动驾驶解决方案，旨在提升自动驾驶系统的场景识识和规划能力。它采用视觉语言模型 (VLMs)，通过场景描述、场景分析以及分层规划的独特推理组合来理解复杂而多样的场景。我们还提出 DriveVLM-Dual 作为补充方案，融合 VLMs 的优势与传统自动驾驶流程，以克服 VLMs 在空间推论和计算需求上的限制。DriveVLM 和 DriveVLM-Dual 在 nuScenes 和 SUP-AD 数据集上的表现证明了其可在复杂而不可预知的驾驶环境中提供有效协助。

DriveVLM的功能亮点

• 视觉语言模型
• 场景理解和规划能力
• 推理模块组合
• DriveVLM-Dual 混合系统
• 实时性能

• 增强场景理解
• 处理复杂场景
• 实验验证有效性
• 可实地部署

DriveVLM的使用案例

• 城市道路上复杂交通条件下
• 识别人类行为
• 实时自动驾驶环境中
• 提供可靠的规划预测

使用DriveVLM的好处

• 提高自动驾驶系统安全性
• 提升城市道路驾乘体验
• 协助交通管理
• 降低自动驾驶系统开发成本

DriveVLM的局限性

• 需大量场景数据训练
• 无法完全取代传统自动驾驶系统
• 适宜辅助而非完全自主驾驶