完整图像只进入目标分支
目标编码器先处理整张图，再取出目标位置对应的特征。上下文编码器只能读取可见部分。完整图像因此可以提供训练目标，却不会作为输入直接泄漏给预测器。
JEPA / 交互学习笔记← 返回 Apps
2022 → 2026 · 沿着问题学习
从一块图像，
走到行动的后果。
每一站先看上一代留下的问题，再动手试一个例子。重点是理解训练目标如何变化，以及实验究竟验证了什么。
这条路线选取与你关心的机器人控制最相关的工作，不是 JEPA 全部论文的年表。2-AC 与 V-JEPA 2 属于同一篇论文；JEPA-VLA 是后续应用分支。
第 1 / 6 站已标记理解 0 / 6
01 / 2022 / 架构提案
JEPA：预测什么，才值得学？
看见杯子在桌上，并不需要先猜准桌布每条纹理。JEPA 把预测目标放在可学习的表征空间，希望在保留信息与容易预测之间找到平衡。
换桌布、移动杯子：哪种变化被保留？
手工构造的示意表征；没有运行模型输入画面
抽象表征的可读示意
换纹理时，示意表征保持不变；移动杯子时，位置会变化。
编码器决定保留什么
x 与 y 可以是相关的观察。编码器把它们变成 sₓ、sᵧ；预测器根据 sₓ 推断 sᵧ。预测误差在向量之间计算。图中的“位置、支撑”只是解释向量的一种方式，实际特征没有预设字段。
不能把“忽略细节”推到极端
若所有输入都变成同一个向量，预测就很容易，但表征毫无用处。原始提案同时要求保留输入信息、降低预测误差，并限制额外变量 z 的信息容量。原文图 13 ↗
检查一种“作弊解”
杯子 → [0.8, 0.2, 0.5] 小狗 → [0.1, 0.9, 0.3] 汽车 → [0.4, 0.3, 0.9]
这些示意向量能区分不同输入。点击按钮，看看为什么仅靠匹配误差还不够。
原版的 z 和 H-JEPA 是什么？
z 可以表达仅凭 x 无法确定的分支，例如车在岔路口向左或向右。它的容量需要受限，否则预测器可以直接从 z 复制答案。H-JEPA 则设想：低层预测短期细节，高层用更粗的状态预测较长时间。这是 2022 年提案中的方向，不代表当时已完成通用规划系统。
这一站的证据层级：研究提案。提出了架构与训练原则；下一站需要回答它能否实际学出有用的视觉特征。LeCun 2022，§4.4–4.6 ↗
02 / 2023 / 静态图像实现
I-JEPA：从可见区域，推断遮挡区域。
原版留下一个实际问题：没有标签，预测的“答案”从哪里来？I-JEPA 让图像自身提供目标，由另一条编码分支产生目标特征。
沿着一次训练走三步
杯子图片与特征均为示意；实际训练通常采样多个目标块上下文分支的输入
目标块从上下文里移除，位置提示仍可提供给预测器。
目标分支：等待对照
目标也在更新
目标分支停止梯度，用上下文编码器权重的指数移动平均（EMA）更新。梯度更新上下文编码器和预测器。这套非对称训练设计与一般 JEPA 提案中的正则化讨论，需要分开理解。
为什么遮一整块，而不只是几个小像素？
很小的缺口容易靠邻近纹理补全。I-JEPA 使用足够大的目标块，并保留空间上分散、信息充足的上下文，鼓励模型利用物体结构。它减少对手工多视图增强的依赖，但仍使用裁剪与遮挡等训练设计，不能理解为“完全没有数据处理”。
验证了什么：在 ImageNet-1K 的冻结编码器线性评估中，ViT-H/14 的 I-JEPA 达到 79.3%（300 轮），MAE 为 77.2%（1600 轮）。训练轮数不同，结论限定在该评估协议。论文 §3、表 1 ↗
留下的问题：一张静态图像不能直接提供物体怎样随时间变化的信息。
03 / 2024 / 视频表征
V-JEPA：把时间放进预测任务。
同一个中间画面，可能来自相反的运动过程。视频让训练目标包含时序信息，V-JEPA 将特征预测扩展到被遮挡的时空区域。
这一帧相同，运动方向相同吗？
合成运动序列；输出描述由规则生成时空遮挡发生在哪里？
每组小格代表一帧。点击按钮，查看跨时间的块状遮挡示意。
预测仍在特征空间
可见视频块经编码器处理，预测器推断被遮挡块的特征。目标来自完整视频的目标分支。新增的是时间结构，训练无需生成完整视频画面。
不能直接等同于“预测未来”
时空遮挡训练可能利用目标前后的可见上下文。它并不天然等价于“只能看过去、预测未来”的因果模型，更没有机器人动作作为条件。
冻结编码器后的评估：论文用约 200 万段视频训练，ViT-H/16 在 Something-Something v2 上报告 72.2% top-1。读出模块仍需训练；“冻结”指视觉主干。V-JEPA 原文 ↗
下一步：扩大视频预训练，检查同一个编码器能支持哪些下游任务。
04 / 2025 / 扩大视频预训练
V-JEPA 2：同一份表征，接到不同任务。
视频特征能做什么，要通过下游评估来检查。运动分类、动作预判、视频问答各自需要不同的读出方式；视频编码器本身不会直接输出这些答案。
选择任务，追踪信息流
结构示意；示例答案手写，非模型推理预训练阶段不需要动作或文字标签
论文扩大了视频数据、模型规模、训练周期与输入时空分辨率。预训练仍是视频特征的遮挡预测。规模扩大是这一站的变化，任务标签或语言对齐属于后续阶段。
会预判人的动作，不代表会选机器人的动作
动作预判是在观察后推测“人可能接下来做什么”。要回答“机器人执行给定动作后会怎样”，还需要把动作与状态转移一起建模。
论文报告的条件：预训练使用超过 100 万小时视频；SSv2 运动分类 77.3% top-1；Epic-Kitchens-100 动作预判 39.7 recall@5。指标和任务不同，不能把这些分数当成同一能力刻度。论文 §2、§5–7 ↗
自监督训练，为什么下游还有标签？
自监督描述的是表征如何预训练。评估这些表征时，可以用带标签的数据训练读出头；接上语言模型后，还需要视觉指令等对齐训练。因此，不能把“视频预训练无语言监督”扩大为“问答系统训练的全过程没有语言数据”。
接下来进入同一篇论文的另一部分：冻结这个编码器，训练动作条件预测器。
05 / 2025 / 同篇论文的动作条件版本
V-JEPA 2-AC：先预测后果，再执行一步。
给模型当前视觉状态、机器人状态和候选动作，它预测下一步特征。规划器据此比较动作序列，执行第一步，然后重新观察与规划。
动手做一次“预测 → 执行 → 再规划”
一维手写世界模型；位置差代替特征距离；离散枚举代替论文的 CEM 搜索得分最好的五条候选序列
每步从 −2、−1、0、+1、+2 中选择位移。按终点距离排序；相同时优先较早接近目标。
当前这轮决策
先看看候选序列的预测终点，再执行第一步。勾选执行偏差，可以观察闭环纠正的作用。
行动数据补上了关键的条件
2-AC 冻结视频编码器，用带机器人状态与动作的 DROID 轨迹训练新的预测器。这里的“无标签”不等于没有动作记录；动作可由相邻末端状态的变化构造。原文采用因果结构，让下一步特征的预测依赖已经观察的状态和给定动作。
为何只执行第一步？
预测可能偏离现实。执行一步后重新观察，可以以实际状态为起点再规划。原文在特征空间比较预测终点与目标图像，用交叉熵方法（CEM）搜索动作序列；上面的简单计算只解释这一控制循环。
证据与限制：论文使用少于 62 小时的 DROID 交互视频后训练，在两个实验室的 Franka 机械臂上验证到达、抓取和放置。目标以图像给出；视角敏感、长程误差累积仍是限制。“零样本部署”不等于从未用过机器人数据。论文 §3–4 ↗
另一条应用路线：保留视频编码器的特征，让 VLA 直接学习动作。
06 / 2026 / 机器人应用分支
JEPA-VLA：把视频特征接到现有策略里。
视频预训练也可以通过特征迁移帮助控制。JEPA-VLA 用最近两帧提取 V-JEPA 2 特征，与原来的视觉、语言信息融合，动作由 VLA 输出。
两种融合方式，信息从哪里进入？
门控数值与向量均为教学构造，不代表可手调的真实控制参数早期拼接
用线性层对齐维度，将新特征作为额外 token 加入。论文发现，这种方法适合尚未经过大量机器人操作预训练的基线。
门控交叉注意力
已有机器人预训练时，直接拼接可能扰动原分布。门控融合让原 VLA 的 token 查询新增视频特征，学习何时读取这些信息。手动调 α 只用于解释信息流。
说“提升了多少”，先选比较对象
真实论文数据 · 与上方门控示意无数值关联解释结果时的范围：RoboTwin2.0 评估了六个任务，真机实验覆盖一个抓放任务。结果支持这套融合方法在已测设置下有效，不能推出所有 VLA 都有相同增益。JEPA-VLA §3–4 ↗
回看两条控制路线
2-AC：用模型规划
当前状态＋候选动作 → 预测后果 → 对照目标 → 选择动作。
JEPA-VLA：增强策略输入
视频特征＋视觉与语言 → 融合后的 VLA → 输出动作。
这张关系图表示方法上的衔接，不表示每个模型都由上一代权重继续训练。