LMDrive 深度技术解读

0. 30 秒速览

LMDrive 是首个将大语言模型（LLM）引入端到端自动驾驶的系统。它不再用规则或简单神经网络做驾驶决策，而是让 LLM 充当"大脑"——接收多摄像头图像、LiDAR 点云和自然语言导航指令，直接输出车辆控制信号。核心创新：用BEV 视觉编码器 + Q-Former将传感器数据压缩为 LLM 可处理的 token，让 LLM 在闭环驾驶中理解场景、遵循指令。

1. 背景：为什么自动驾驶需要语言？

1.1 传统端到端的局限

传统端到端自动驾驶（如 LAV、TCP、ThinkTwice）从传感器数据直接映射到控制信号，存在一个根本问题：它们不理解"指令"。导航系统说"前方 200 米左转"，传统系统只能靠全局路径规划模块处理，神经网络本身无法关联语言语义和驾驶行为。

1.2 语言指令的真实场景

现实驾驶中，指令来源非常丰富：

• 导航软件："在前方路口左转"（turn 类型）
• 乘客/副驾："小心前面有行人"（notice 通知类型）
• 复杂连续指令："在这个路口右转，然后直行到下个路口再右转"
• 误导性指令：在单车道上收到"换到左车道"——系统应该拒绝执行

2. 整体架构

2.1 为什么需要历史帧？

LMDrive 工作在闭环（closed-loop）设置：每帧的决策会影响下一帧的环境状态。一条导航指令可能持续几秒到几分钟，需要累积历史观测来减少累积误差、提高时序一致性。但历史帧越多，视觉 token 数量线性增长，必须用 Q-Former 压缩。

3. Vision Encoder 详解

3.1 传感器配置

3.2 图像编码：ResNet + Transformer 融合

每路摄像头图像过 ResNet 提取 2D 特征图，flatten 为 1D token。然后多视角 token 通过一个 K_enc 层 Transformer Encoder（Multi-Head Self-Attention + MLP + LayerNorm）融合，实现跨视角的全局上下文理解。

3.3 LiDAR 编码：PointPillars + PointNet

LiDAR 点云用 PointPillars 处理：将点云划分为 0.25m × 0.25m 的柱体（pillar），每个 pillar 内的点用 PointNet 聚合特征，下采样为 C×H×W 的 BEV 特征图。这些 LiDAR BEV 特征同时作为后续 BEV Decoder 的查询（query）。

3.4 BEV Decoder：跨模态融合

BEV Decoder 是一个 K_dec 层标准 Transformer。它以 LiDAR BEV 特征（H×W 个 query）去 attend 多视角图像特征，生成BEV token。同时还输入 N 个可学习 query 和 1 个可学习 query，分别生成航点 token和交通灯 token。

3.5 预训练任务

Vision Encoder 先在感知任务预训练阶段训练，冻结后供 LLM 使用。三个预训练任务：

4. LLM 模块详解

4.1 LLM 的角色

LMDrive 选择 LLaMA 系列作为语言 backbone（与 LLaVA 等视觉语言模型一脉相承）。LLM 在整个驾驶过程中扮演"大脑"：处理视觉 token 序列 + 理解语言指令 → 输出控制信号 + 指令完成判断。

4.2 Q-Former Token 压缩

直接将每帧 406 个 token 输入 LLM 不可行。LMDrive 采用 BLIP-2 风格的 Q-Former：用 M 个可学习 query 通过 cross-attention 从 406 个 token 中提取关键信息，压缩为 M 个 token。再用 2 层 MLP adapter 将 Q-Former 输出对齐到 LLM 的嵌入维度。

# Token 流转
Vision Encoder → 406 tokens/帧
    ↓ Q-Former (M 个 learnable queries)
M tokens/帧 → MLP adapter → 与语言 token 同维度
    ↓ 拼接历史帧 + 指令 token
LLM 输入：[指令 tokens] + [帧0的 M tokens] + [帧1的 M tokens] + ... + [帧T的 M tokens]

4.3 动作预测

LLM 接收视觉 token 序列和指令 token 后，输出动作 token。一个 2 层 MLP adapter 将动作 token 转化为：

• N 个未来航点（waypoints）—— 车辆未来路径
• 指令完成标志（binary）—— 当前导航指令是否执行完毕

最终控制信号通过两个 PID 控制器（参考 LBC 方法）：横向 PID 跟踪航点航向角，纵向 PID 跟踪航点速度 → 输出方向盘、油门、刹车。

4.4 误导指令处理

为了让系统对不安全指令有拒执行能力，训练时将误导指令（如单车道要求变道）标注为"误导指令给出约 1 秒后标记为已完成"——相当于 LLM 学会了"收到危险指令后短暂忽略并继续正常行驶"。

5. 两阶段训练

6. 数据集构建

6.1 传感器数据采集

使用规则化专家代理（InterFuser）在 CARLA 中自动驾驶，收集约 3M 帧数据。覆盖 2500 条路线、8 个城镇、21 种环境条件（天气、时间段组合）。

6.2 指令标注

第二阶段将原始帧序列切分为导航片段（clip），每个 clip 对应一条导航指令。例如：车辆从 T0 帧开始左转到 Tn 帧结束 → 标注为"Hang a left at the next crossroads"。

6.3 指令类型（56 种）

7. 实验结果

7.1 LLM Backbone 对比（LangAuto Benchmark）

LLaVA-v1.5 在所有 benchmark 上全面领先——预训练视觉理解能力对驾驶性能有显著迁移效果。Random Init（随机初始化 LLM）DS 仅 10.7，证明 LLM 的语言先验至关重要。

7.2 消融实验

7.3 Notice 指令的效果

加入 Notice 指令后，车辆碰撞率近乎减半（0.33→0.17），红灯违规也大幅下降。这验证了"语言通知"能显著提升驾驶安全性——就像乘客提醒"小心红灯"一样有效。

8. Benchmark 设计

9. 工程权衡分析

10. 与其他端到端方法对比