NoMaD 深度技术解读

一句话概述

NoMaD 是 Berkeley AI Research 提出的视觉导航策略模型，核心创新是目标掩码扩散策略（Goal-Masked Diffusion Policy）：一个模型同时学会目标导向导航（给定目标图像寻路）和自主探索（无目标自由探索）。它属于 GNM/ViNT 系列的第三代，将扩散模型引入机器人导航，实现了多模态轨迹输出。

GNM → ViNT → NoMaD 演进谱系

NoMaD 不是凭空出现的。它是 Dhruv Shah 等人在 Berkeley 连续推进的通用导航模型（General Navigation Models）系列的第三个里程碑，三篇论文共享同一个代码仓库（visualnav-transformer）：

三者的递进关系：GNM 证明了"一个模型控制任何机器人"的可行性；ViNT 引入了 Transformer 架构和时序推理能力；NoMaD 则解决了前两者的两个根本缺陷——动作输出的单模态性（无法处理歧义场景）和必须依赖目标图像（无法自由探索）。

架构详解

NoMaD 由三个模块组成：视觉编码器（NoMaD_ViNT）、噪声预测网络（扩散策略）、距离预测网络。整体数据流：

视觉编码器：NoMaD_ViNT

NoMaD 的视觉编码器在 ViNT 基础上改造，名为 NoMaD_ViNT。它有两个独立的 EfficientNet-b0 编码器：

为什么目标编码器用 6 通道？ 目标图像单独编码会丢失与当前观测的相对关系。将当前观测和目标图像在通道维度拼接（6 通道），让编码器从第一层就能联合提取两者的对应关系——这是视觉惯性里程计中常用的技巧。

编码后，4 帧观测 + 1 个目标 token 拼接成长度为 5 的序列，加入位置编码，经过 4 层 Transformer 自注意力（4 头，前馈维度 1024，GELU 激活，pre-norm）。最终对序列做加权平均池化，输出 256 维全局表示。

核心创新：目标掩码机制

这是 NoMaD 最本质的设计——让一个模型同时处理两种截然不同的导航任务：

实现方式极其优雅——不改变任何网络结构，仅通过 Transformer 的 src_key_padding_mask 参数控制：

# 训练时随机选择是否掩码目标（goal_mask_prob = 0.5）
# 当 mask=1 时，Transformer 自注意力忽略最后一个 token（目标）
goal_mask = [False, False, False, False, True]   # 掩码目标
no_mask   = [False, False, False, False, False]   # 不掩码

# 掩码时，平均池化重新加权：
# 不掩码 → 每个 token 权重 1/5
# 掩码   → 前 4 个 token 权重 1/4，目标 token 权重 0

这个设计的精妙之处在于：掩码操作使得 Transformer 在探索模式下自然地"忘记"目标信息。同一组参数，掩码时学会"探索开阔区域"，不掩码时学会"朝目标前进"。推理时只需切换 mask 即可切换模式，无需加载不同模型。

扩散策略：多模态轨迹输出

NoMaD 用条件扩散模型替代了 GNM/ViNT 的确定性回归头，这是动作质量提升的关键。

扩散策略的核心思想：将路径点生成建模为从高斯噪声逐步去噪的过程。给定视觉编码器的 256 维输出作为全局条件 global_cond，噪声预测网络（一个 U-Net 变体）学习预测每一步添加的噪声。

距离预测网络

这是一个轻量 MLP（256 → 64 → 16 → 1），以视觉编码输出为输入，预测到达目标的离散化距离（0-20 档，每档约 1 米）。它的两个作用：

• 导航终止判定：距离预测低于阈值时，认为已到达目标，停止导航
• 探索模式引导：探索模式下虽然没有目标，但距离预测网络仍可评估"是否值得继续前进"——低距离值意味着当前区域已被充分探索

训练数据与配置

NoMaD 在 5 个公开数据集上训练，总数据量超过 100 小时的机器人轨迹：

双模式部署

NoMaD 的代码仓库提供两种部署脚本，对应两种导航模式：

模式一：拓扑图导航（navigate.sh）

模式二：自由探索（exploration.sh）

GNM / ViNT / NoMaD 深度对比

与地库出库任务的匹配度

对于汽车从地下车库导航到地面这一实际场景，NoMaD 是当前最接近的开源方案，但仍存在显著差距：

局限性与改进方向

当前局限

后续发展：ViNT-Large

NoMaD 发布后，同一团队在 2024 年推出了 ViNT-Large（基于 Transformer 的扩展版本），将参数量从 ~10M 扩展到 ~300M，引入了语言目标条件（可用文字描述目标而非图像），并在更大规模数据上训练。ViNT-Large 在部分场景下取代了 NoMaD 的位置，但 NoMaD 的目标掩码扩散策略思想仍是最核心的方法论贡献。

快速上手

# 1. 克隆代码仓库
git clone https://github.com/robodhruv/visualnav-transformer.git
cd visualnav-transformer

# 2. 创建训练环境
conda env create -f train/train_environment.yml
conda activate vint_train
pip install -e train/

# 3. 下载预训练权重（nomad.pth）
# Google Drive: visualnav-transformer/model_weights/

# 4. 部署到 LoCoBot（需 ROS Noetic）
conda env create -f deployment/deployment_environment.yaml
conda activate vint_deployment

# 5. 拓扑图导航
cd deployment/src
./navigate.sh "--model nomad --dir "

# 6. 自由探索（NoMaD 独有）
./explore.sh "--model nomad"