Chapter 8 世界模型 | XiangSiqi’s Blog

type

Post

status

Published

date

Apr 27, 2026

slug

DL8_cn

summary

Dreamer Style：在隐空间里做世界模型

Dreamer-style world model 是现代世界模型中最标准的一条路线。它的核心目标不是生成一段看起来真实的视频，而是学习一个可以用于控制和规划的环境动力学模型。

其中是确定性 recurrent state，是随机 latent state，是奖励，是 episode continuation。也就是说，Dreamer 关心的问题是：如果智能体在当前状态下执行某个动作，世界接下来会怎么变，以及这个变化对任务目标有什么价值。

这条路线的关键不是 video generation，而是 latent imagination：智能体不在真实环境里反复试错，也不一定在像素空间里生成未来，而是在压缩的 latent state space 里想象未来轨迹，然后用这些想象轨迹训练策略。

为什么 Dreamer 是世界模型的第一条主线

在强化学习里，智能体通常需要大量真实环境交互：

这在游戏里还可以接受，但在机器人、自动驾驶、工业控制里代价很高。Dreamer-style 方法的核心想法是把真实世界交互压缩成一个可学习的模型：

Dreamer 的训练循环可以写成：

对应的数学对象是：

这就是 Dreamer-style 世界模型的基本范式：

学一个压缩的、可预测的世界状态；在这个世界状态中想象未来；用想象出来的未来训练行为。

PlaNet：Dreamer 的前身

Dreamer 家族的直接前身是 PlaNet，论文是 Learning Latent Dynamics for Planning from Pixels。PlaNet 解决的问题是：能不能从像素输入里学出一个 latent dynamics model，然后在 latent space 里做 planning。

它的输入是图像观测：

动作是：

模型不直接在像素空间预测未来，而是把历史压缩成 latent state：

其中：

PlaNet 使用 RSSM，Recurrent State-Space Model。它把 latent state 拆成两部分：

当当前观测可见时，用 posterior 修正 latent：

也就是说，RSSM 同时有两条路径：

prior 只依赖过去状态和动作，用于预测未来；posterior 看到当前图像后修正状态，用于训练。PlaNet 的突破在于，它不是学习像素级动力学：

而是学习隐空间动力学：

但是 PlaNet 仍然使用 online planning。每一步动作都要在 latent space 中搜索未来动作序列，比如用 CEM 这类采样优化方法：

所以 PlaNet 的问题是：规划很强，但每一步都要重新优化动作序列，计算成本高，而且行为策略本身没有被蒸馏成一个快速的 actor。DreamerV1 正是从这里往前走了一步。

DreamerV1：从 online planning 到 latent imagination actor-critic

DreamerV1 的论文是 Dream to Control: Learning Behaviors by Latent Imagination。它继承 PlaNet 的 RSSM world model，但关键变化是：

Dreamer 不再每一步都用 CEM 搜索动作，而是训练一个策略网络和价值网络：

其中：

DreamerV1 的结构可以拆成三部分：

对应到公式：

训练 world model 时，Dreamer 最大化序列的 evidence lower bound，本质上包含三类损失：

其中：

直观上，posterior 看到真实图像，因此知道当前状态；prior 只能根据过去和动作预测当前状态。KL 项逼着 prior 接近 posterior，这样模型在没有未来图像时也能自己 rollout。

训练 actor-critic 时，Dreamer 从真实序列中编码出当前 latent state，然后在模型内部 rollout：

这些 imagined trajectories 不需要访问真实环境。actor 的目标是最大化 imagined return：

DreamerV1 的关键贡献是：

一句话总结 DreamerV1：

DreamerV1 证明了智能体可以不在真实世界里大量试错，而是在学到的 latent dynamics 中“做梦”，并从梦里训练行为。

DreamerV2：离散 latent，让世界模型能打 Atari

DreamerV2 的论文是 Mastering Atari with Discrete World Models。它面对的问题比连续控制更难：Atari 是高维图像输入、离散动作、长时间依赖、奖励稀疏，而且有复杂的游戏机制。

DreamerV1 的 latent state 主要是连续随机变量。DreamerV2 的重要变化是把 stochastic latent 改成离散表示。可以把看成组 categorical variables，每组有个类别：

并且每一组都是 one-hot：

这样做的意义是：连续 latent 更适合平滑控制；离散 latent 更适合表示游戏里的对象、事件、开关、碰撞、规则状态。Atari 里的状态变化经常不是平滑的，比如角色死亡、分数增加、门打开、道具消失，这些更像离散事件，而不是连续物理量。

DreamerV2 仍然保留 Dreamer 的核心训练范式：

但 DreamerV2 的突破点是：

这件事的重要性在于：此前很多人怀疑 world model 很难学到足够准确的 Atari 动力学，因为像素预测误差会不断累积，最后 rollout 崩掉。DreamerV2 的回答是：不要要求模型在像素空间里长期预测每一帧；让模型在语义更压缩的 latent space 中预测，并且让策略也在这个 latent space 中学习。

一句话总结 DreamerV2：

DreamerV2 把 Dreamer 从连续控制推进到 Atari，说明离散 latent world model 可以承载复杂游戏规则，并支持纯想象中的行为学习。

DayDreamer：把 Dreamer 搬到真实机器人上

DayDreamer 不是 Dreamer 的主版本号升级，但它是 Dreamer-style world model 的重要分支。论文是 DayDreamer: World Models for Physical Robot Learning。

它要回答的问题是：Dreamer 这种在想象中训练策略的方法，能不能直接用于真实机器人？真实机器人和游戏环境的区别很大：真实交互很慢，动作有安全风险，传感器噪声、摩擦、接触动力学复杂，而且 reset 成本高。

DayDreamer 基本沿用 Dreamer 的框架：

它的意义不是提出全新的结构，而是证明 Dreamer-style 方法可以迁移到真实物理系统。论文中展示了四类真实机器人任务：quadruped locomotion、robot arm pick-and-place、wheeled robot navigation，以及多传感器、多动作空间、多奖励形式的组合。

一句话总结 DayDreamer：

DayDreamer 证明了 latent imagination 不只是模拟环境中的算法技巧，也可以减少真实机器人学习中的昂贵试错。

DreamerV3：从特定任务算法到通用世界模型智能体

DreamerV3 的论文是 Mastering Diverse Domains through World Models。它的目标不再只是解决某一类任务，而是让同一个算法、同一组超参数跨很多环境都能工作。

DreamerV3 覆盖的任务范围包括 continuous control、Atari、DeepMind Lab、Minecraft、2D / 3D environments、dense rewards / sparse rewards、low-dimensional inputs / pixel inputs、continuous actions / discrete actions。

DreamerV3 的大方向不是完全重写 Dreamer，而是让 Dreamer 变得稳定、可扩展、少调参。它仍然使用：

但它引入了一系列稳定化技巧，使同一套配置能跨域使用。可以把 DreamerV3 的贡献理解为：

DreamerV3 的几个关键设计包括：更鲁棒的损失归一化、KL balancing / free bits、symlog transformation、continuation prediction，以及固定超参数跨任务使用。

其中 symlog 很关键。它的作用是把大范围数值压缩到更容易学习的尺度：

这样 reward 或 value 即使跨任务尺度差异很大，模型也不容易因为数值范围不同而崩掉。

DreamerV3 最有标志性的结果是：它在 Minecraft 中从零开始学会收集钻石，不使用人类数据或课程学习。这件事之所以重要，是因为 Minecraft 需要长时序探索、组合技能、稀疏奖励和视觉理解。

一句话总结 DreamerV3：

DreamerV3 把 Dreamer 从“一个强的 model-based RL 算法”推进成“一个跨域通用的 world model agent”。

Dreamer 4：从 latent imagination 走向 scalable interactive world model

到 2025 年的 Dreamer 4，问题进一步变化：能不能训练一个足够快、足够准确、可交互的世界模型，让智能体主要在这个模型内部学习复杂行为？

Dreamer 4 的论文是 Training Agents Inside of Scalable World Models。相比 DreamerV3，它更接近今天大模型语境下的世界模型：不仅要有 latent dynamics，还要让 world model 能从大量视频中学习一般性的环境知识，并支持 action-conditioned simulation。

Dreamer 4 的目标可以概括为：

它的重要变化包括：更可扩展的世界模型架构、action-conditioned prediction、real-time interactive inference、offline-data-to-agent。也就是说，世界模型不仅预测视频接下来会怎样，还要预测“如果我执行这个动作，世界会怎样”。

Dreamer 4 的标志性结果是 Minecraft：智能体在 learned world model 内部训练，并能够完成获得钻石这类长程任务。这个目标比 DreamerV3 更进一步，因为它强调的是：

一句话总结 Dreamer 4：

Dreamer 4 把 Dreamer-style 从 latent-control world model 推向 scalable interactive world model：世界模型不只是辅助策略学习，而是成为训练智能体的主要环境。

Dreamer 家族的发展线索

Dreamer 家族的发展可以总结成一条很清楚的技术路线：

如果用一句话概括整个 Dreamer-style 范式：

Dreamer-style world model 的核心不是生成真实像素，而是学习一个足够可预测、足够可控、足够适合规划的 latent world，并让智能体在这个 latent world 中练习。

Dreamer-style 与视频生成式世界模型的区别

Dreamer-style 和 Sora / Genie 这类 video world model 有相似之处：它们都预测未来。但二者的优化目标不同。

所以 Dreamer-style 更像强化学习里的“内部模拟器”，而不是视觉生成模型里的“视频生成器”。它真正关心的不是未来画面看起来是否逼真，而是如果执行动作，任务相关状态、奖励和可行动性是否预测准确。

JEPA Family：在表征空间中预测世界

JEPA，全称 Joint-Embedding Predictive Architecture，是 LeCun 世界模型路线的核心。它的出发点非常明确：如果目标是让模型理解世界、预测未来、支持规划，那么模型不应该把主要能力花在像素级重建上。

像素预测会遇到一个根本问题：未来有大量不可预测、也不重要的细节。比如树叶的纹理、背景里的噪声、物体表面的高频细节，这些东西很难预测，但它们未必对智能体行动有用。JEPA 的策略是：

不预测原始输入本身，而是预测目标区域或未来状态的高层表征。

最抽象的 JEPA 可以写成：

其中是可见 context，是被预测的 target，是 context encoder，是 target encoder，是 predictor，可以表示 mask、位置、时间或动作条件。JEPA 的预测目标不是的像素，而是的表征。

这和 MAE 的区别非常关键：

所以 JEPA 不是 generative reconstruction，也不是 contrastive learning。它既不要求模型还原像素，也不依赖大量 negative samples，而是直接在 latent embedding space 中对齐 context 和 target。

这里需要先区分 DINO 和 JEPA。DINO / DINOv2 当然和 JEPA 很接近，都是非监督视觉表征学习，也都避免像素级重建；但 DINO 本体严格说不是 JEPA。DINO 是 self-distillation with no labels：student 和 teacher 看同一图像的不同增强视图，student 去匹配 teacher 的输出分布，teacher 用 EMA 更新。

DINO 的重点是通过 teacher-student self-distillation 学到强视觉特征；JEPA 的重点是根据 context 去预测 target 的 latent representation。它们都在表征空间学习，但训练任务不同：

因此 DINO 更适合作为 JEPA 的近亲、前置表征模型和对照基线，而不是 JEPA 家族本体。

H-JEPA：LeCun 的原始世界模型设想

在 LeCun 2022 年的 A Path Towards Autonomous Machine Intelligence 中，JEPA 不是一个孤立的图像自监督算法，而是一个面向自主智能体的世界模型框架。完整设想是 H-JEPA，也就是 Hierarchical JEPA。

H-JEPA 的思想是：世界不是只在一个时间尺度上变化。低层表征处理短期、局部、细节的预测；高层表征处理长期、抽象、语义和行动相关的预测。

可以写成：

其中低层更接近感知，高层更接近抽象状态。预测也分层进行：

这里是具体动作，和可以理解成更抽象的行动计划。H-JEPA 的目标不是单纯学习视觉特征，而是支持 hierarchical planning：低层负责短时物理预测，高层负责长时目标和计划。

这也是 JEPA 和普通自监督视觉模型的根本区别：

I-JEPA / V-JEPA 是 JEPA 思想在图像和视频上的落地；H-JEPA 是 LeCun 想要的完整智能体世界模型蓝图。

I-JEPA：从图像中预测语义表征

I-JEPA 是 JEPA 家族第一个真正产生影响的模型，论文是 Self-Supervised Learning from Images with a Joint-Embedding Predictive Architecture。它的任务是在单张图像中，用可见 context block 去预测 target block 的表征。

设一张图像被分成 patch token：

从中采样 context 区域和 target 区域：

context encoder 看到：

target encoder 看到：

predictor 根据 context 表征和 target 位置预测 target 表征：

训练目标是：

I-JEPA 的关键不是公式，而是 masking 策略。它不是随机遮住小 patch，然后恢复局部纹理；它会选较大的 target block，让预测任务更偏向语义。

如果 target 太小，模型只需要局部纹理就能猜；如果 target 足够大，模型必须理解物体结构、场景布局和语义关系。也就是说，I-JEPA 试图逼模型学习：

这就是 LeCun 认为 JEPA 比像素重建更接近智能的原因：模型被要求预测抽象状态，而不是填补低层细节。

一句话总结 I-JEPA：

I-JEPA 把“预测表征而不是预测像素”落到了图像自监督学习上，用大块 mask 让模型学习更语义化的视觉表征。

V-JEPA：从图像语义走向视频动力学

V-JEPA 把 JEPA 从静态图像推进到视频。论文是 Revisiting Feature Prediction for Learning Visual Representations from Video。它的核心变化是：target 不再只是同一张图像里的空间区域，而是视频中的时空区域。

视频可以表示成：

其中是时间，是空间 patch。V-JEPA 从视频中取 context tube 和 target tube：

然后预测 target tube 的表征：

V-JEPA 的意义是：它把 JEPA 从 object / scene representation 推向 motion representation。图像 JEPA 学的是“这个场景是什么”；视频 JEPA 学的是“这个场景会如何变化”。

V-JEPA 和视频生成模型的区别仍然很大：

这意味着 V-JEPA 不需要生成清晰视频，也不需要对每个像素负责。它只需要学到对下游任务有用的运动、关系和状态变化。

一句话总结 V-JEPA：

V-JEPA 把 JEPA 的预测对象从图像空间块扩展到视频时空块，让模型开始学习运动和物理变化的表征。

V-JEPA 2：从视频表征到物理理解与机器人规划

V-JEPA 2 是 JEPA 家族从 representation learning 走向 world model 的关键一步。它的论文是 V-JEPA 2: Self-Supervised Video Models Enable Understanding, Prediction and Planning。

V-JEPA 2 的第一阶段仍然是 action-free video pretraining：模型只看大规模视频，不需要动作标签，也不需要文本标签。目标仍然是在表征空间中预测被遮住的时空区域。

但 V-JEPA 2 的关键新增点是：它进一步引入 action-conditioned world model，用少量机器人视频进行后训练，得到 V-JEPA 2-AC。

普通 V-JEPA 的预测是：

V-JEPA 2-AC 的预测变成：

这一步非常重要。因为只预测“未来会怎样”还不是完整世界模型；智能体真正需要的是预测：

如果我执行这个动作，世界会怎样？

V-JEPA 2-AC 用不到 62 小时的无标签机器人视频进行 action-conditioned 后训练，然后在 Franka 机械臂上做 image-goal planning。它不需要在目标环境中重新收集数据，也不需要任务奖励，而是通过目标图像和 latent distance 做规划。

形式上，可以把目标图像编码为：

候选动作序列 rollout 得到预测未来表征：

规划目标是最小化 predicted state 和 goal state 的距离：

这使 V-JEPA 2 成为 JEPA 家族中第一个非常明确地走向“物理世界模型 + 机器人规划”的版本。

一句话总结 V-JEPA 2：

V-JEPA 2 把视频 JEPA 从表征学习推进到物理理解、动作条件预测和零样本机器人规划。

Value-guided JEPA：让 latent distance 更适合规划

JEPA 的一个自然问题是：表征空间里距离近，是否意味着两个状态在行动上也接近？

如果 latent distance 只是视觉相似度，那么它未必适合规划。比如两个状态看起来相似，但从一个状态到另一个状态可能需要很复杂的动作；反过来，两个状态看起来不同，但可能一步动作就能到达。

Value-guided JEPA 试图解决这个问题。它让表征空间的距离近似 goal-conditioned value 或 reaching cost。也就是希望：

或者更直观地：

这样 planner 在 latent space 里找最短路时，不只是在找“视觉上像目标”的状态，而是在找“行动上更容易到达目标”的状态。

这一步的意义是把 JEPA 表征从 recognition representation 推向 control representation。也就是说，好的世界模型表征不只是要能分类、检索、预测，还要具有可规划性。

一句话总结 Value-guided JEPA：

Value-guided JEPA 试图让 JEPA 的 latent space 变成适合规划的几何空间，而不只是适合视觉识别的特征空间。

C-JEPA：从 patch 预测走向对象级因果关系

C-JEPA，即 Causal-JEPA，进一步指出：如果世界模型要支持推理和控制，只在 patch level 做 mask 可能还不够。真实世界中的变化通常发生在对象和对象关系上，而不是孤立 patch 上。

C-JEPA 把 JEPA 的 masking 单元从图像 patch 提升到 object-centric representation。假设一个场景中有个对象：

每个对象有一个 latent state：

C-JEPA 会遮住某些对象的表征，让模型根据其他对象预测它：

这会产生一种类似 latent intervention 的效果：模型不能靠局部纹理偷懒，而必须理解对象之间的关系。例如球为什么会动、物体为什么会碰撞、某个对象状态为什么依赖其他对象。

C-JEPA 的重点不是“生成更好看的未来”，而是让表征捕捉 object relation 和 interaction dynamics。这更接近因果世界模型。

一句话总结 C-JEPA：

C-JEPA 把 JEPA 从 patch-level prediction 推向 object-level relational prediction，让模型更关注对象关系和交互因果。

DINO-WM：用 DINOv2 特征搭世界模型

虽然 DINO 本体不是 JEPA，但 DINO-WM 必须放在这一节里讲，因为它是 JEPA-style 世界模型的重要参照。DINO-WM 的完整标题是 DINO-WM: World Models on Pre-trained Visual Features enable Zero-shot Planning。

DINO-WM 的思路是：不从 raw pixels 端到端学习表征，而是直接使用 DINOv2 的 spatial patch features 作为世界状态，然后在这个特征空间里学习动作条件动力学。

设当前图像为，DINOv2 提取 patch-level latent：

DINO-WM 学的是：

它不重建未来像素，而是预测未来 DINO patch features：

规划时，目标图像也被编码成 DINO feature：

然后通过优化动作序列，让预测未来特征接近目标特征：

DINO-WM 的优点是很直接：DINOv2 已经提供了强视觉先验，尤其是 patch-level、空间化、对象感较强的表征。因此 world model 不需要从零学习视觉语义，可以把主要能力放在动作条件的状态转移上。

但它和 LeWM 的区别也很关键：

所以 DINO-WM 更像是 JEPA-style 世界模型的桥梁：它证明了“预测预训练视觉特征”可以支持 zero-shot planning；而 LeWM 进一步尝试去掉预训练视觉编码器，直接从像素端到端学习可规划表征。

一句话总结 DINO-WM：

DINO-WM 不是 JEPA 本体，但它是 JEPA-style world model 的重要相邻分支：用 DINOv2 patch features 作为世界状态，在特征空间中学习动作条件动力学和目标规划。

LeWorldModel / LeWM：稳定端到端训练的 JEPA 世界模型

LeWorldModel，简称 LeWM，是 2026 年 3 月提交、3 月 24 日修订的 JEPA 世界模型。它的完整标题是 LeWorldModel: Stable End-to-End Joint-Embedding Predictive Architecture from Pixels。

LeWM 解决的是 JEPA 家族长期存在的一个痛点：collapse。

如果训练目标只是让预测表征接近目标表征，模型可能找到一个平凡解：所有输入都输出同一个 embedding。这样预测误差很小，但表征完全没信息。

此时：

损失可以很低，但模型什么也没学到。这就是 representation collapse。

早期 JEPA 系统通常依赖复杂技巧避免 collapse，例如：

LeWM 的突破是：它声称可以从 raw pixels 端到端稳定训练，只使用两个损失项：

其中 prediction loss 是 next-embedding prediction：

Gaussian regularizer 约束 latent embedding 接近高斯分布：

直观上，prediction loss 让模型学会预测未来表征；Gaussian regularizer 防止所有 embedding 塌缩到同一个点，同时让 latent space 保持可规划、可采样、可比较。

LeWM 的模型非常小，约 15M 参数，可以在单张 GPU 上数小时训练。它的目标不是和 Sora 这类视频生成模型比画面质量，而是在控制任务中高效规划。论文报告它在 2D 和 3D 控制任务中保持竞争力，同时规划速度最高可比 foundation-model-based world model 快约 48 倍。

LeWM 的重要性有三点：

LeWM 还做了两类重要验证。第一是 physical probing：检查 latent space 是否编码了物理量。第二是 surprise evaluation：检查模型能否对物理上不合理的事件产生高 surprise。

如果一个事件在模型世界中不合理，那么预测误差或 surprise 应该升高：

这意味着 LeWM 的 latent space 不只是压缩视觉输入，而是在一定程度上编码了物理结构。

一句话总结 LeWM：

LeWM 是 JEPA 家族到 2026 年最接近“轻量、端到端、可规划世界模型”的版本：它不生成像素，而是在稳定的 latent space 中预测未来并支持控制。