技术时间线¶
本页不把视频生成史排成一条“旧模型被新模型替代”的队伍，而是追踪三条长期并行、彼此借力的技术主线：表示与生成机制、视频基础模型与创作、World Model 与行动闭环。应用层承接三条主线的成果，验证框架则横向检查每个能力主张是否站得住。
资料核查截止：2026-08-30
30 秒读法
- 先在下方泳道图中选择你关心的主线。
- 再沿同名章节阅读节点卡片，关注“机制改变了什么”，而不是只记模型名。
- 最后查看节点的四项标签，区分首次公开、正式发表、本页定位和当前开放状态。
资料口径与收录原则
- 年份采用论文首次公开或机构首次官方发布的时间，而不是后续会议、期刊或产品开放年份；因此年份标签不代表该工作已经正式发表。涉及论文的新增节点同时写“首次公开 / 正式状态”，没有 proceedings 的保留
preprint标签。 - 这是一组经过筛选的技术谱系，不是所有模型的产品年表；每个节点均链接论文、作者项目页或机构官方发布等一手来源。
- 视频编辑是贯穿多条泳道的横向能力；从 Video Rewrite、时空补全、vid2vid 到 Diffusion / DiT、instruction editing 与 memory 的节点，见视频编辑 milestones。
- 视频退化修复是与生成/编辑相邻的观测逆问题：目标是从 blur、downsample、noise、compression 等低质观测恢复同一内容，不是重新创作或只在 mask 内补全；其横向谱系见本页专题表与退化修复专章。
- 每个节点的“资源”栏统一标记 Paper/Report、Project、Code、Weights 与 Demo；Code 只认作者或机构官方实现，
未公开表示截至核查日未找到官方公开资源，第三方复现不会冒充官方实现；—表示没有独立入口或不适用，失效、归档、下线与访问受限会直接标注状态。 - 企业节点中的分辨率、速度、时长与性能，如无独立复现，均按“官方或作者报告”理解。2025–2026 节点默认标为前沿观察（暂定），不把预印本、机构自评或宣传演示升格为已独立验证的能力事实。
- 联合音视频、后训练和显式控制节点的一手来源交叉核验见缺口审计；Video DiT 的公开/发表、attention topology、融合、MoE、并行与缓存边界见backbone 研究日志；多视角/4D、退化修复与视频表示分别见4D 研究日志、退化修复研究日志和tokenizer 研究日志。
- 节点卡片中的模型概念图由 imagegen 根据论文机制生成，属于概念示意图，不是论文原图，也不代表模型真实输出；页首索引图使用可维护的 Mermaid 文本图。
三条技术泳道与两个横向层¶
技术泳道回答“研究问题沿哪条路线演进”；应用层和验证尺横跨三条泳道，不是第 4、第 5 条技术路线。图中的年份是宽阶段，只用于导航，不替代后文节点的首次公开与正式发表日期。
flowchart TB
accTitle: 视频生成技术的三条并行主线
accDescr: 三条主线从各自前驱走向规模化与交互生成；应用层承接成果，验证尺横向检查所有能力主张。
lane_1["泳道 1｜表示、预测与生成机制<br/>1981–2019｜运动、状态、深度预测、GAN/VAE<br/>2020–2023｜视频 Token、Diffusion/Flow<br/>2024–2026｜Video DiT、因果流式、后训练"]
lane_2["泳道 2｜视频基础模型与创作<br/>2017–2021｜早期 T2V 与序列建模<br/>2022–2024｜规模化、多条件与编辑<br/>2025–2026｜原生音视频、4D 与长叙事"]
lane_3["泳道 3｜World Model 与行动闭环<br/>2015–2020｜动作预测、latent dynamics<br/>2021–2024｜驾驶、游戏、JEPA、动作 rollout<br/>2025–2026｜交互世界、规划、Physical AI"]
application_layer["横向应用层（承接三条泳道）<br/>创作 · 编辑 · 修复 · 数字人 · 4D · 游戏 · 机器人"]
validation_layer["横向验证尺（检查三条泳道）<br/>画质 · 条件 · 时序 · 物理 · 效率 · 闭环 · 安全"]
lane_1 ~~~ lane_2
lane_2 ~~~ lane_3
lane_3 ~~~ application_layer
application_layer ~~~ validation_layer
classDef lane stroke:#3b82f6,stroke-width:2px
classDef application stroke:#8b5cf6,stroke-width:2px,stroke-dasharray:5 3
classDef validation stroke:#d97706,stroke-width:2px,stroke-dasharray:5 3
class lane_1,lane_2,lane_3 lane
class application_layer application
class validation_layer validation图 1：三条技术泳道并行推进；应用层和验证尺横跨主线，不代表单线替代或能力等级。
| 层次 | 它回答什么 | 建议入口 |
|---|---|---|
| 泳道 1｜表示、预测与生成机制 | 视频如何表示、压缩、预测和采样？ | 生成模型路线 · 视频 Tokenizer · Video DiT |
| 泳道 2｜视频基础模型与创作 | 模型如何扩展为规模化、多条件、可迁移的创作系统？ | 视频基础模型路线 · 多视角/4D · 视频编辑 |
| 泳道 3｜World Model 与行动闭环 | 模型能否维护状态、响应动作，并支持反事实、规划或持续交互？ | World Model 专章 · JEPA 路线 |
| 横向应用层 | 三条主线如何进入编辑、修复、数字人、游戏、自动驾驶与机器人？ | 相关应用 · 任务地图 |
| 横向验证尺 | 每项能力主张应由什么证据支撑？ | 评测指南 · 物理一致性 |
归类原则： 同一模型可能横跨多条泳道，本页按主要贡献归类。“统一模型”必须说明统一的是接口、流水线、共享 backbone、模型家族还是单一 checkpoint。动作条件 rollout 只有反复完成“动作 → 环境响应 → 新观测 → 再决策”，才算闭环验证。
一个节点要看四件事¶
这里不再把它们含混地统称为“证据状态”。技术泳道回答“它沿哪条路线发展”；下面四项标签分别回答“何时公开、发表到哪一步、为何收录、现在能获取或访问什么”。它们同时存在、彼此独立，也不是从低到高的等级。
flowchart TB
accTitle: 时间线节点的四项独立标签
accDescr: 每个节点同时记录首次公开、学术状态、本页定位和当前开放状态；四项回答不同问题，不能合并成一个已发布标签。
first_public["① 首次公开｜何时进入公共记录？"]
academic_status["② 学术状态｜预印本、研讨会或正式会议/期刊？"]
page_role["③ 本页定位｜研究里程碑、历史节点、专题汇总或前沿观察（暂定）？"]
availability["④ 当前开放与访问｜论文、代码、模型权重、接口、在线演示或下线？"]
first_public ~~~ academic_status
academic_status ~~~ page_role
page_role ~~~ availability
classDef label stroke:#64748b,stroke-width:2px
class first_public,academic_status,page_role,availability label图 2：四项标签同时描述同一节点，彼此独立，不是从低到高的成熟度等级。
| 你想知道什么 | 本页怎么写 | 不能据此推出 |
|---|---|---|
| 何时进入公共记录？ | arXiv v1、项目页或官方发布的首次日期 | 已同行评议或已经录用 |
| 学术进展到哪一步？ | 预印本、研讨会论文、正式会议或期刊记录 | 代码已开放、结果已复现或产品可用 |
| 为什么收进这条时间线？ | “研究里程碑”“历史节点”“专题汇总”或“前沿观察（暂定）”，属于本页的编辑定位 | 学术录用、产品成功、业界共识或通用能力 |
| 现在能拿到什么？ | 论文、代码、模型权重、接口、在线演示、访问受限或下线 | 未来仍可用，或与论文中的完整系统等价 |
例： “2025 年首次公开 + 仍是预印本 + 本页视为研究里程碑 + 代码和权重已开放”完全可以同时成立。四句话分别回答时间、发表、编辑定位和开放范围。
能力证据另看一层： 官方自述、作者实验、开放工件、独立复现和现实闭环实测必须分别标注；“正式发表”或“目前可用”都不能自动替代能力验证。
查看 2025–2026 节点的四项标签与开放状态
下表只回答“当前的记录与访问状态是什么”；机制、任务和边界仍以后文卡片为准。“未找到正式发表记录”指截至本次核查，没有在论文记录、官方 proceedings 或作者项目页中确认，不是对未来录用状态的预测。
| 节点 | 首次公开与学术状态 | 本页定位 | 截止 2026-08-30 的开放与访问状态 |
|---|---|---|---|
| Wan 2.1 | 2025-03-26 arXiv v1；预印本/技术报告，未找到正式发表记录 | 开放视频基础模型家族的研究里程碑 | 官方代码、权重和托管 demo 可访问 |
| NVIDIA Cosmos / Predict2 | 2025-01-07 预印本；Predict2 于 2025-06-11 官方技术发布；未找到正式发表记录 | Physical AI 平台与世界状态生成的研究里程碑 | 官方代码、权重、PyPI 和 demo 可访问 |
| V-JEPA 2 | 2025-06-11 arXiv v1；预印本，未找到正式发表记录 | 从无动作视频表示到小量动作数据后训练和规划的研究里程碑 | 官方代码与权重可访问；不是托管机器人产品 |
| Veo 3 / 3.1 | 2025-05-20 官方产品发布；2025-09-24 为独立黑盒探测预印本 | 原生音视频创作和黑盒视觉探测的前沿观察（暂定） | 官方页仍提供 Gemini、Flow、AI Studio 和 API 入口；无公开代码/权重 |
| Genie 3 | 2025-08-05 官方研究发布；未找到论文或正式发表记录 | 实时可交互生成世界的前沿观察（暂定） | Project Genie 是可访问的实验性托管原型；无公开代码/权重 |
| Matrix-Game 2.0 | 2025-08-18 arXiv v1；预印本，未找到正式发表记录 | 少步 causal diffusion 流式交互的研究里程碑 | 官方仓库仍保留 2.0 实现与权重入口；主线已更新到 3.0 |
| Marble | 2025-11-12 官方产品发布；未找到论文或正式发表记录 | 显式 3D 世界表示与导出的产品/研究前沿观察（暂定） | 官方称已普遍可用，需账号；无公开代码/权重 |
| Sora 2 | 2025-09-30 官方发布与系统卡；不是同行评议论文 | 音视频、多镜头和安全治理的历史节点 | 官方确认 Sora 产品已于 2026-04-26 下线；无公开代码/权重 |
| GWM-1 | 2025-12-11 官方研究/产品发布；未找到论文或正式发表记录 | 共享底座、独立后训练世界模型家族的前沿观察（暂定） | Worlds/Robotics 仍为申请式 early access；Characters 分支已提供 Web/API；无公开权重 |
| Cosmos 3 | 2026-06-01 arXiv v1；官方称 technical report，未找到正式发表记录 | Omnimodal 世界模型家族的前沿观察（暂定） | 官方代码、模型卡/权重和托管 demo 可访问 |
| V-JEPA 2.1 | 2026-03-15 arXiv v1；预印本，未找到正式发表记录 | dense 时空表示的前沿观察（暂定） | 官方代码与预训练 checkpoints 可访问 |
| LeWorldModel | 2026-03-13 arXiv v1；预印本，未找到正式发表记录 | 小型端到端 latent planning 的前沿观察（暂定） | 官方代码、数据与 checkpoints 可访问 |
| EB-JEPA | 2026-02-03 arXiv v1；ICLR 2026 World Models Workshop camera-ready，不冒充主会 archival proceedings | 可复现教学/研究组件的前沿观察（暂定） | 官方代码可访问；未另行发布权重 |
| Kling Video 3 / 3 Omni | 2026 官方产品发布；未找到论文或正式发表记录 | 多参考原生音视频创作的前沿观察（暂定） | 官方 Web 产品可访问，受账号/地区限制；无公开代码/权重 |
| Seedance 2.0 | 2026-02-12 官方产品发布；2026-04-15 arXiv model card，不是同行评议论文 | 统一多模态原生音视频的前沿观察（暂定） | 托管产品可访问，受账号/地区限制；无公开代码/权重 |
| MiniMax H3 | 2026-07-31 官方发布；2026-08-03 开放基础模型；未找到同行评议论文 | 全模态音视频和部分开放系统的前沿观察（暂定） | 两个 H3-Base checkpoint 与代码可用，本地基础流程为 768p；Context-IR 与 2K regeneration 仍依赖托管 API |
| Seedance 2.5 | 2026-07-31 官方产品发布；未找到论文或正式发表记录 | 长叙事、多参考与时间戳编辑的前沿观察（暂定） | 官方称已在即梦/Doubao Pro 逐步上线；发布页仍称 API 即将提供；无公开权重 |
| Dual-IPO / BranchGRPO | ICLR 2026 正式 proceedings | 奖励模型—生成器迭代与去噪轨迹信用分配的研究里程碑 | 正式论文页可访问；本表未把论文实验等同于通用后训练 recipe 或独立复现 |
| LAMP / FlashMotion / BulletTime | CVPR 2026 正式 proceedings | 语言到运动程序、少步轨迹控制与时间—视角解耦的前沿观察（暂定） | 各论文与补充材料入口可访问；工件范围逐项核验，三者不是一个统一控制系统 |
| NAVA / Ripple | 2026-05-28、2026-07-29 arXiv v1；均为预印本 | 原生 AV 对齐与带跨模态记忆的流式联合生成前沿观察（暂定） | NAVA 项目样例与两篇预印本可访问；未把作者同步/速度结果写成开放权重或独立性能 |
| 4DStreamCtrl | 2026-08-26 arXiv v1，2026-08-27 v2；预印本 | 相机、对象、深度与因果流式统一的最新前沿观察（暂定） | arXiv PDF/源码可访问；未在一手记录中确认官方代码或权重，20 FPS/长序列为作者协议结果 |
| SeedVR2 / FlashVSR / DGAF-VSR / STCDiT / DTG-Restore | SeedVR2 为 ICLR 2026 正式 proceedings；其余四项为 CVPR 2026 正式 proceedings | 一步对抗后训练、streaming、aligned evidence、结构锚定与 training-free refinement 的视频退化修复专题汇总 | 论文入口可访问；本页不把不同数据、退化、硬件和感知协议下的作者结果合并成统一排名 |
横向专题（可选）：2017–2026 视频退化修复谱系
这条谱系不等同于视频编辑：输入 \(Y\) 是同一真实视频 \(X\) 经未知或已知退化算子后的观测，目标是恢复 \(X\)，不是按指令改变事件。它也不等同于 inpainting：全帧通常仍有低质证据，并不存在一张天然的 mask 外硬保护区。下表只保留改变任务合同或系统边界的节点；逐篇 paper review、公式、指标和 RestorationFork-1 见专章。
| 阶段 | 代表节点 | 合同变化 | 仍未解决 |
|---|---|---|---|
| 2017–2020：利用跨帧证据 | Deep Video Deblurring、EDVR、FastDVDnet | 邻帧不再独立处理；对齐、遮挡权重与时空融合成为一等组件 | 合成 blur/noise 与真实 shutter、codec、ISP 的距离仍大 |
| 2021–2022：传播、盲退化与 Transformer | BasicVSR、RealBasicVSR、RVRT | 建立传播/对齐/聚合/上采样组件表，把真实退化和 clip 内并行、clip 间递归纳入统一诊断 | 双向方法依赖未来帧；长视频仍有传播漂移与显存债务 |
| 2023–2024：图像生成先验获得时间能力 | SATeCo、Upscale-A-Video、MGLD-VSR | 冻结或适配图像 diffusion prior，以 latent/pixel、local/global 与 flow guidance 补足视频时间约束 | 感知细节可能没有观测支持；锐利不能替代 re-degradation、OCR/ID 与多 seed 审计 |
| 2024–2025：高倍率、高分辨率、复杂退化与少步 | VideoGigaGAN、PatchVSR、DiffVSR、TurboVSR | 分别把生成细节、patch 条件、复杂退化 curriculum 与压缩/少步效率推到系统层 | 结果绑定各自数据、倍率、硬件与计时边界，不能直接拼成“最佳模型” |
| 2026：一步、streaming 与证据守恒分叉 | SeedVR2、FlashVSR、DGAF-VSR、STCDiT、DTG-Restore | 将 adversarial 一步、只读历史的 streaming、dense aligned evidence、anchor-frame structure 与无训练 refinement 分成不同系统合同 | “一步”“实时”“training-free”和“忠实”仍是四个独立主张，需分别验证 |
生成机制基础｜1981–2003：显式运动、重组与统计动态¶
这一阶段的工作不是今天意义上的大规模生成模型，却奠定了运动表示、帧重用、条件驱动和状态空间建模的基本语言。
 |
1981 — Lucas–Kanade 运动表示前驱表示/机制：在局部窗口内利用空间强度梯度，通过迭代配准与最小二乘估计小位移。 控制/任务：输入相邻图像或视频帧，输出局部运动；原论文首先是图像配准与立体视觉工作。 意义/边界：后来成为经典局部光流方法，并影响 flow-guided generation 与 warping，但它本身不是生成模型。 资源：Paper · Project：— · Code：未公开 · Weights：不适用 · Demo：— |
 |
1981 — Horn–Schunck 运动表示前驱表示/机制：把亮度恒常约束与全局平滑先验结合，联合估计整幅图像的稠密运动场。 控制/任务：输入相邻帧，输出全局一致的光流。 意义/边界：与 Lucas–Kanade 的局部法形成经典对照；全局平滑有利于补全弱纹理区域，也可能抹平真实运动边界。 资源：Paper · Project：— · Code：未公开 · Weights：不适用 · Demo：— |
 |
1997 — Video Rewrite 数据驱动条件合成表示/机制：从已拍摄素材中选择与新语音对应的嘴部片段，再通过图像变形与合成连接片段。 控制/任务：以音频为条件改变说话人的口型。 意义/边界：很早展示了“检索、重排、morphing、条件驱动”的视频合成流程，但受特定人物和素材覆盖范围限制。 资源：Paper · Project：历史页已下线 · Code：未公开 · Weights：未公开 · Demo：— |
 |
2000 — Video Textures 帧重组表示/机制：依据帧间相似度构建可跳转的帧图，在合适位置重排已有画面，合成任意长度的连续动态纹理。 控制/任务：从一段短视频生成稳定循环或交互式序列。 意义/边界：它不生成新像素；质量取决于素材中是否存在可无缝连接的状态。 资源：Paper · Project · Code：未公开 · Weights：不适用 · Demo：— |
 |
2001/2003 — Dynamic Textures 统计动态表示/机制：在低维外观子空间中，用随机线性动力系统和系统辨识建模、预测并合成烟、火、水面与树叶等随机过程。 控制/任务：从观测序列学习隐状态转移，再从状态模型采样。 意义/边界：ICCV 2001 首次提出，IJCV 2003 给出扩展版；它是视觉 state-space model 的直接前驱，但主要适合近似平稳动态纹理。 资源：Paper · Project（历史页，已失效） · Code：未公开 · Weights：未公开 · Demo：— |
这一阶段留下什么¶
光流直接进入后来的 warping、插帧与运动引导；Dynamic Textures 则把“视觉观测由隐藏动态状态产生”写成了可学习模型。显式相机、3D 仿真与数字孪生还来自计算机图形学和机器人学的独立谱系，不能全部归因于上述节点。
生成机制基础｜2014–2017：深度视频预测¶
深度网络开始直接学习时空相关性。这里的核心问题不是“能否预测下一帧”，而是如何避免逐像素回归把多个合理未来平均成模糊图像。
 |
2014 — Video (Language) Modeling 离散自回归前驱表示/机制：把 8×8 图像 patch 量化到大型离散词典，再借用语言模型式 rNN/rCNN 预测下一时刻的 patch 分布。 控制/任务：补全缺失帧或从历史帧外推短时未来。 意义/边界：展示了自然视频中的非平凡短时运动；离散化损失明显，递归生成也容易逐渐停滞。 资源：Paper · Project · Code：未公开 · Weights：未公开 · Demo：— |
 |
2015 — ConvLSTM 卷积递归表示/机制：把 LSTM 的 input-to-state 与 state-to-state 变换卷积化，使隐藏状态保留二维空间结构。 控制/任务：原任务是雷达回波降水临近预报，随后成为视频预测的常用时序单元。 意义/边界：比全连接 LSTM 更适合网格数据，但长序列仍受误差累积与记忆容量限制。 资源：Paper · Project：— · Code：未公开 · Weights：未公开 · Demo：— |
 |
2015 — Beyond MSE 感知损失表示/机制：结合多尺度网络、对抗训练与 image-gradient-difference loss，减少只优化像素 MSE 带来的模糊。 控制/任务：根据历史帧预测未来画面。 意义/边界：当 one-to-many 未来被单一输出和 L2/MSE 训练时，条件均值容易模糊；这不是所有确定性模型都必然模糊的无条件结论。 资源：Paper · Project · Code  · Weights · Demo：— |
 |
2015 — Action-Conditional Video Prediction 动作条件预测表示/机制：CNN 编码 Atari 帧，递归模型同时接收动作并预测受控制的未来画面。 控制/任务：显式回答“采取这个动作后会看到什么”。 意义/边界：连接了视频预测与决策型 world model；但实验环境、画面结构和动作空间仍较简单。 资源：Paper · Project · Code  · Weights：未公开 · Demo：— |
 |
2016 — DNA / CDNA / STP 变换式预测表示/机制：不从头重画像素，而是预测逐像素局部变换、卷积运动核或仿射空间变换，再通过 mask 合成下一帧。 控制/任务：以机器人动作和历史图像为条件预测物体交互。 意义/边界：显式复用已有像素能得到更锐利结果；遮挡、新显露区域和长时误差仍难处理。 资源：Paper · Project · Code（历史快照）  · Weights：未公开 · Demo：— |
 |
2016 — PredNet 预测编码表示/机制：分层卷积递归网络在每层预测输入，只把预测误差继续向上传递。 控制/任务：无动作条件的下一帧预测与无监督表征学习。 意义/边界：把 predictive coding 组织原则具体化；预测质量仍主要在短期驾驶视频等设置中验证。 资源：Paper · Project · Code  · Weights · Demo：— |
 |
2017 — Video Pixel Networks 像素自回归表示/机制：直接分解原始视频像素的联合概率，以卷积 LSTM 与 PixelCNN 式解码逐像素建模。 控制/任务：给定前缀帧预测后续视频，并提供显式 likelihood。 意义/边界：补齐了“概率可处理”的路线，但逐像素串行采样极慢，也难扩展到高分辨率长视频。 资源：Paper · Project：— · Code：未公开 · Weights：未公开 · Demo：— |
 |
2017 首次公开 → ICLR 2018 — SV2P 随机预测表示/机制：为未来序列引入随机 latent，使同一历史上下文能够采样出不同的多帧未来。 控制/任务：同时覆盖无动作与动作条件的真实视频预测。 意义/边界：较早有效处理真实视频中的 one-to-many 未来；多样性、清晰度和长期一致性仍存在权衡。 资源：Paper · Project · Code（已归档）  · Weights：未公开 · Demo：— |
生成机制基础｜2016–2019：随机预测、GAN 与可处理概率¶
这一时期混合了两种不同问题：一类从历史帧预测多个可能未来，另一类从噪声、类别或文本合成新视频。不能只用“视频生成”把二者抹平。
 |
2016 — VGAN / Generating Videos with Scene Dynamics 对抗式合成表示/机制：以时空卷积 GAN 分离静态背景与动态前景，并通过 mask 合成短视频。 控制/任务：主要是无条件自然场景合成和表征学习。 意义/边界：展示约 64×64、32 帧、1 秒级视频；“前景运动、背景静止”的假设限制了复杂相机和动态场景。 资源：Paper · Project · Code  · Weights · Demo：— |
 |
2017 — MoCoGAN 内容—运动解耦表示/机制：在整段视频中固定 content latent，让 motion latent 随随机过程演化，并同时使用图像与视频判别器。 控制/任务：无条件或类别条件视频合成。 意义/边界：把身份/外观与运动拆开成为经典设计；预印本 2017、CVPR 2018，解耦并不保证真实因果因素被正确识别。 资源：Paper · Project  · Code · Weights：未公开 · Demo：— |
 |
2017 — Video Generation from Text 早期文本视频表示/机制：先以条件 VAE 从文本生成静态 gist，再将文本动态信息转成图像滤波器，配合 GAN 生成短视频。 控制/任务：自然语言同时决定大致场景布局与运动。 意义/边界：是开放域文本到视频的早期代表；分辨率、时长、语义组合和真实感都远弱于后来的大规模预训练模型。 资源：Paper · Project · Code：未公开 · Weights：未公开 · Demo：— |
 |
2018 — SVG-LP 随机预测表示/机制：每个时间步引入随机 latent，并学习依赖历史的 prior，将随机因素与确定性预测组合。 控制/任务：给定视频历史采样多个清晰且不同的未来。 意义/边界：重点是多样未来，不是用户可控生成；递归 rollout 仍会积累误差。 资源：Paper · Project · Code  · Weights · Demo：— |
 |
2018 — Fréchet Video Distance 评测表示/机制：把真实与生成视频映射到预训练 I3D 时空特征，再比较两个特征分布的 Fréchet 距离。 控制/任务：同时感知画面内容、运动与样本分布。 意义/边界：成为视频生成常用指标；它依赖特征模型与数据分布，不能单独证明文本遵循、物理、因果或闭环能力。 资源：Paper · Project · Code  · Feature Weights · Demo：— |
 |
2019 — DVD-GAN 大规模 GAN表示/机制：基于 BigGAN；空间判别器检查抽样的全分辨率帧，时间判别器检查空间降采样后的整段视频。 控制/任务：在 Kinetics-600 上做类别条件合成。 意义/边界：相对当时扩展到 12 帧 256×256 或 48 帧 128×128；训练成本高、优化敏感，也没有显式可处理 likelihood。 资源：Paper · Project：— · Code：未公开 · Weights：未公开 · Demo：— |
 |
2019 首次公开 → ICLR 2020 — VideoFlow Normalizing Flow表示/机制：用可逆多尺度 normalizing flow 建模条件视频分布，并直接优化 likelihood。 控制/任务：根据历史帧采样多个随机未来。 意义/边界：补齐 GAN/VAE 之外的显式密度路线；这里的“flow”是可逆 normalizing flow，不等同于 2022 年后的 Flow Matching。 资源：Paper · Project：— · Code（已归档） · Weights：未公开 · Demo：— |
随机预测与 GAN 的核心矛盾¶
对抗训练通常有利于感知锐度，但优化可能敏感，也不提供显式、易处理的 likelihood；显式概率模型能覆盖不确定性，却常受采样速度、重建或架构约束。样本质量与模式覆盖无法由单一指标同时充分衡量。
变分随机未来的延伸支线｜2019–2026¶
这条支线没有在 2018 停止，但也不能把所有带 latent/VAE 的新系统收进来。direct stochastic-future 节点需要 future-aware posterior、不看未来的 deployment prior 与 KL/ELBO；相邻 RSSM/world-model 支线则用新观测校正 posterior、用 action-conditioned prior 想象，并另验 action/reward/return 与 model exploitation。LPWM 是对象粒子与 latent action 的桥接节点。
| 首次公开 / 正式状态 | 节点 | 合同改变 | 证据边界 |
|---|---|---|---|
| 2019 / ICCV 2019 | Improved Conditional VRNNs | deep latent hierarchy + higher-capacity likelihood | hierarchy 与 capacity 效应缠绕；frame metric 多为 best-of-100 |
| 2020 / ICML 2020 | SRVP | fully latent residual dynamics，frame synthesis 与 dynamics 解耦 | 一阶 residual 是结构限制；oracle frame metric 与 FVD 协议不同 |
| 2020 / ICLR 2021 | DreamerV2 | categorical RSSM + KL balancing 的相邻控制支线 | Atari 55 tasks；discrete state 的里程碑不应归给 V3 |
| 2021 / CVPR、NeurIPS | GHVAE；CW-VAE | 贪心 deep hierarchy；slow-clock temporal abstraction | 模块数/容量是混杂；1000-frame 证据主要来自受控域 |
| 2022 / ICLR、CLeaR | VPR；VIM | event-triggered hierarchy；object + categorical mechanism | 主要是合成事件/对象场景，不能外推开放视频 |
| 2023 / TMLR 2024 | DDLP | particle-tracking posterior + Transformer dynamics prior | LPWM 的直接粒子前身；对象化场景、遮挡与相机运动仍是边界 |
| 2024 / ICML 2024 | Stochastic Frame Prediction | categorical future latent 作为表示学习信号 | 单 future frame、生成质量非主证据 |
| 2023 / Nature 2025 | DreamerV3 | categorical RSSM、split KL、free bits 与 unimix | 150+ 控制任务；return 不是 uncertainty calibration |
| 2026 / ICLR 2026 Oral | LPWM | object particles + inverse-action posterior/policy prior + dynamics ELBO | 对象中心前沿，仍受 identity、对象数和相机运动限制 |
| 2026 / Neural Networks | Implicit hierarchical temporal–spatial residual model | prior–posterior residual + spatial hierarchy | 3 数据集作者协议；不证明 VAE 重回开放域 foundation-model 主干 |
纠错：2018 的 Hierarchical Long-term Video Prediction without Supervision 是高层 feature predictor + feature-space adversarial loss，没有上述 q/p/ELBO 合同，不能写成“分层随机 latent”。完整纳入/排除表和实验阈值见变分随机视频生成。
生成机制 → 视频基础模型｜2017–2026：视觉 Token 与视频语言模型¶
早期节点主要把视频编码为离散符号，再使用语言模型式自回归或 masked prediction；2024 年后又出现连续兼容 latent、自适应预算和结构化表示。需要特别注意：连续/离散/结构化属于 representation，autoregressive/masked 属于 factorization，diffusion/flow/重建损失属于 objective 或 decoder 路径；MAGVIT 的离散 code 与 Sora/DiT 的连续 latent patch 并不是同一种“token”。完整术语和记账合同见视频 Tokenizer 与生成式压缩。
 |
2017 — VQ-VAE 离散表征基础表示/机制：encoder 将连续特征量化为离散 codebook index，decoder 重建观测，prior 则另行学习。 控制/任务：论文覆盖图像、视频与语音，但它并非专门的视频 tokenizer。 意义/边界：为视觉 token 与两阶段生成奠基；压缩率、codebook 使用率和重建细节形成新的瓶颈。 资源：Paper · Project · Code（Sonnet 示例）  · Weights：未公开 · Demo/Notebook |
 |
2021 — VideoGPT 自回归视频 Transformer表示/机制：用 3D convolution 与 axial attention 的 VQ-VAE 压缩视频，再由 GPT 式 Transformer 自回归预测离散 latent。 控制/任务：无条件、类别条件和视频前缀条件生成。 意义/边界：架构简单且概率形式统一；token 串行采样和长序列成本很高。 资源：Paper · Project · Code  · Weights · Demo |
 |
2021 — NÜWA 统一视觉合成表示/机制：以 3D Transformer encoder-decoder 和 3D Nearby Attention 统一处理一维文本、二维图像与三维视频。 控制/任务：覆盖文本到视频、视频预测以及零样本视觉编辑等任务。 意义/边界：较早展示“一套多模态预训练框架覆盖多种视觉合成”；规模与生成质量仍受当时 tokenizer 和算力限制。 资源：Paper · Project（资料仓库，已归档）  · Code：未公开 · Weights：未公开 · Demo：— · Overview |
 |
2022 — CogVideo 大规模文本视频预训练表示/机制：9B 自回归 Transformer 继承 CogView2 图像模型参数，并通过多帧率分层训练扩展到视频。 控制/任务：开放域文本到视频。 意义/边界：是首批开放的大规模预训练 T2V 路线之一；低帧率、低分辨率与自回归成本仍明显。 资源：Paper · Project  · Code · Weights · Demo |
 |
2022 — Phenaki Masked 生成表示/机制：以带时间因果注意力的 C-ViViT tokenizer 压缩视频，再用文本条件双向 masked Transformer 迭代补全 token。 控制/任务：prompt 序列驱动可变长度、分段延展的视频叙事。 意义/边界：比纯自回归提高并行度；长视频仍依赖分段生成，身份、状态与质量会漂移。 资源：Paper · Project · Code：未公开 · Weights：未公开 · Demo：— |
 |
2022 — MAGVIT 统一视频生成任务表示/机制：3D tokenizer 将视频离散化，masked video token modeling 用一个模型覆盖十类生成任务。 控制/任务：可接受类别、图像、视频片段或掩码等不同条件。 意义/边界：首次公开为 2022，CVPR 发表为 2023；masked decoding 仍需多轮迭代，并受 tokenizer 重建损失限制。 资源：Paper · Project · Code（已归档）  · Weights：未公开 · Demo：— |
 |
2023 首次公开 / ICLR 2024 — MAGVIT-v2 视觉 tokenizer表示/机制：使用 causal 3D CNN 与 lookup-free quantization，构造图像/视频共享的大型离散词表。 控制/任务：服务生成、紧凑表示和识别，并增强与语言模型式生成器的兼容；entropy regularizer 不是 entropy coder。 意义/边界：论文“LM beats diffusion”的结论来自相同数据、相近规模与预算的受控实验，不能泛化成所有语言模型都胜过 diffusion。 资源：Paper（正式） · Project · Code：未公开 · Related Code（MAGVIT v1） · Weights：未公开 · Demo：— |
 |
2023 首次公开 / ICML 2024 — VideoPoet 多模态生成语言模型表示/机制：decoder-only Transformer 统一处理文本、图像、视频与音频 token，以混合生成目标预训练后再适配任务。 控制/任务：文本/图像到视频、视频编辑、延展与视频到音频。 意义/边界：清楚展示“视频生成语言模型化”；离散 token 的序列长度、串行解码和 tokenizer 误差仍是代价。 资源：Paper（正式） · Project · Code：未公开 · Weights：未公开 · Demo：— |
2024–2026 视频表示前沿：首次公开与正式状态分列¶
下表只补表示层的结构性转折，不把 tokenizer 当成新的生成 factorization。bitstream 一列中的“是”要求概率模型、熵编码器和可解码码流；仅有更小 tensor、token 数或 nominal bits 时仍为“否”。
| 首次公开 | 正式状态（截至 2026-08-30） | 代表节点 | 改变的表示轴 | 实际 bitstream 证据 |
|---|---|---|---|---|
| 2023 | ICLR 2024 | MAGVIT-v2 | lookup-free 离散量化与大隐式词表 | 否；entropy penalty 只是训练正则 |
| 2024 | NeurIPS 2024 | CV-VAE；OmniTokenizer | 连续 latent 兼容；图像—视频联合 tokenizer | 否；报告 shape/dtype/grid/元素或 token 预算 |
| 2024-12 | 预印本；未发现正式 venue | VidTok | 分开的 continuous-KL / discrete-FSQ 型号、causal / noncausal 与多种固定压缩配置 | 否；多型号不是 hybrid 或按样本 adaptive，VCR 也不是 bpp |
| 2024 | ICLR 2025 | Causal VAE；BSQ-ViT；ElasticTok；LARP | 因果联合编码、球面二值量化、可截断预算、generator-aware prior | 仅 BSQ-ViT 有实验性算术编码码流 |
| 2024 | CVPR 2025 | CoordTok；VidTwin；Divot | triplane、结构/动态双分支、语义连续表示与生成式 de-tokenizer | 否；结构命名和 diffusion decoder 都不构成码流 |
| 2025 | ICLR 2026 | InfoTok；NeRV-Diffusion | 内容自适应 token 预算；整段视频 INR-weight latent | 否；nominal BPP 与 latent weights 都不是码流 |
| 2025 | CVPR 2026 | AdapTok | block-causal 1D adaptive latent | 否；还需计入 scorer、分配器与 ragged batching |
| 2026-07/08 | 预印本；未发现正式 venue | VideoRAE；V-RAE | frozen video/visual foundation features、representation alignment 与固定预算的生成可学性 | 否；continuous/discrete 变体不是 hybrid，causal 性按 encoder variant 判断 |
| 2026-08 | 预印本；未发现正式 venue | KVAE | 更高空间缩减的 causal continuous video VAE 家族 | 否；保持 preprint 与作者结果边界 |
视频 Token 与序列建模的核心矛盾¶
自回归模型具有统一概率形式，但串行采样昂贵；masked generation 提高并行度，却仍需多轮迭代。两者都受视频 token 数量、tokenizer 重建损失和长程状态一致性制约。
2024–2026 因果、流式与实时：四层合同怎样汇合¶
这条谱系横跨 factorization、训练历史、architecture、cache 与 serving，不是新的单一 objective。causal codec、causal generator、streaming commit 与 real-time SLO 也不能相互继承；详细的逐位置噪声、commit/backpressure、开放时长、作者速度口径和 StreamFork-1 见因果流式专章。
| 首次公开 → 正式状态 | 节点 | 改变的层 | 证据边界 |
|---|---|---|---|
| 2024-07 → NeurIPS 2024 | Diffusion Forcing | per-token noise 将 next-unit 与 full-sequence diffusion 接到同一训练接口 | 不内生 self-history、few-step、commit 或实时 SLO |
| 2024-12 → CVPR 2025 | CausVid | 双向 teacher → 4-step causal student 与 KV cache | GT/noised-GT 历史不等于 on-policy matching |
| 2025-06 → NeurIPS 2025 | Self Forcing | 训练进入 self-generated rollout 分布 | detached history 仍留下 context-gradient 缺口 |
| 2025-09 → ICLR 2026 | Rolling Forcing；LongLive | 联合 rolling noise、sink、长训、prompt recache 与固定滑窗 | 窗口内不一定严格逐帧；长 demo 不等于 survival 保证 |
| 2025-10/11 → MLSys 2026 | StreamDiffusionV2 | TTFF、deadline、jitter、scheduler 与多卡 pipeline | 4×H100 aggregate FPS 不能替代单流延迟 |
| 2026-02 → CVPR/ICLR 2026 | SCD；FlowCache | 分离跨帧因果推理/帧内渲染；training-free per-chunk cache/KV 压缩 | architecture 加速与 serving 加速都不自动改变 history exposure |
| 2025-11 → ICLR 2026 | MotionStream | 在线轨迹/相机输入、Self Forcing 与固定窗口汇合 | 官方仓库仍未提供可运行代码/权重；控制遵循不是 world-model 闭环 |
| 2026-02/05/06 | Causal Forcing（ICML 2026 accepted）、Causal Forcing++、Causal-rCM | flow-map 初始化、相邻时间 consistency 与 TF→SF recipe | step 不总等于 NFE；++ 首 latent frame 仍为 4 steps |
2021–2026 多视角与 4D：从动态重建到 camera × time 生成¶
这条谱系有两条不能混写的起点：动态场景重建从已捕获观测恢复可渲染状态，4D generation 则要为未见视角、时间或整段动态生成内容。普通 camera-controlled video 只覆盖 camera–time 平面的一条路径；同刻多视角、完整 query grid 和显式状态需要额外几何证据。详细任务合同、五条技术路线和 GridFork-1 见多视角与 4D 专章。
| 首次公开 → 正式状态 | 节点 | 合同转折 | 未解决与证据边界 |
|---|---|---|---|
| 2020 → CVPR/ICCV 2021 | D-NeRF；Nerfies | canonical state + deformation 支持 novel view/time | per-scene optimization、pose 与 topology |
| 2023 → ICML 2023 | MAV3D | T2V score distillation 首次把文字提升为 dynamic 3D state | SDS 成本、教师偏置与工件边界 |
| 2023 → ICLR/CVPR 2024 | Consistent4D；4D-GS；Align Your Gaussians | video-to-4D consistency 与显式 dynamic Gaussian 汇合 | 实时渲染不等于实时构建；对象/场景范围有限 |
| 2024 → NeurIPS 2024 | 4Real | 真实视频 prior 推动 scene-level photorealistic text-to-4D | staged、per-scene pipeline |
| 2024 → ICLR 2025 | 4DiM；SV4D；GenXD | camera/time 条件、multi-frame/multi-view diffusion 与可变条件视图进入统一模型 | 固定窗口、数据稀缺与 query 顺序一致性 |
| 2024 → CVPR 2025 | CAT4D；4Real-Video | camera-time grid→deformable state；可泛化 4D video diffusion | 生成网格偏差可能被状态优化固化 |
| 2025 → ICCV 2025 | SV4D 2.0；Free4D | 大运动/遮挡、渐进 3D→4D 与免微调单图场景 | 未见区域不确定性和跨域几何 |
| 2026 → CVPR 2026 | 4C4D；DGGT；MoRel；4DSurf | 极稀疏相机、pose-as-output、长时 anchor 与 surface consistency | 域特定、构建/更新/渲染仍需分账 |
| 2026-05/07/08 → 预印本 | Full-4D；MV-Forcing；Stream4D；4DStreamCtrl | full-scope grid、长时多视角 self-forcing、动态 4D reward 与在线 3D 控制 | 正式发表、开放工件与 SLO 均需逐项复核 |
视频基础模型｜2020–2026：表示、Objective、Backbone 与规模化生成¶
这条路线发生的是三条可组合而非互相替代的迁移：representation 从 pixel 扩展到连续 latent，objective 从 denoising/score 扩展到 flow/consistency 等路径，规模化 backbone 从 U-Net 扩展到 Transformer/DiT、window/factorized/full、sparse/linear/hybrid 与 noise-time experts。U-Net、hybrid 与任务专用结构仍并存；不能把三条轴压成“U-Net 被 DiT/Flow 淘汰”，也不能把所有方法概括为“逐步去噪”。完整公式、论文精读和公平实验见Video DiT 与骨干扩展。
Backbone 子谱系：首次公开与正式发表分开¶
| First-public → formal | 节点 | 可核验推进 | 不应越界的结论 |
|---|---|---|---|
| 2022-12 → ICCV 2023 | DiT | latent patch Transformer、adaLN-Zero 与图像 scaling | 图像结果不是视频时序证据 |
| 2023-12 → ECCV 2024 | W.A.L.T. | spatial/spatiotemporal window attention | window 降直接连边，也延长跨窗传播路径 |
| 2024-01 → TMLR 2025 | Latte | 四类 factorized Video DiT 变体 | 小/中规模作者配置不是全局 topology 排名 |
| 2024-08 → ICLR 2025 | CogVideoX | joint full attention、Expert AdaLN、3D RoPE、frame packing | Expert AdaLN 不是 MoE |
| 2024-12 / 2025-02 → 作者报告 | HunyuanVideo / Step-Video-T2V | dual→single/full 与 video-full + text-cross 两类规模化融合 | 系统结果不能只归因于 attention |
| 2025-07 → 官方 artifact | Wan2.2  |
按噪声时间硬切 high/low-noise experts | 不是 token-routed MoE；无独立 Wan2.2 正式论文 |
| 2025-09 → ICLR 2026 | SANA-Video | block linear DiT 与 constant-memory cumulative state | 分钟级、720p 与速度均是作者协议 |
| 2026-07 → 预印本/部分开放 | SANA-Video 2.0 | 75% linear + 25% softmax anchor、AttnRes | 固定 dense 比例使严格渐近仍含 \(O(N^2)\)；14B 截止日未发布 |
| 2025-10 → CVPR 2026 | LinVideo | 选择性 post-training linearization | 4-step 结果还改变 NFE，不能归给 attention alone |
| 2026 formal | RAPID、DSA、TimeRipples | inter-step sparse mask reuse、distributed sparse execution、intra-attention 时空复用 | 三者不是同一种 cache；TimeRipples 的速度含比例估算 |
 |
2020 — DDPM Diffusion 基础表示/机制：通过前向加噪和学习反向去噪，连接 diffusion probabilistic model 与 denoising score matching。 控制/任务：原工作主要是图像生成，不是视频模型。 意义/边界：奠定现代 diffusion 训练框架；直接在高维视频像素上扩展会带来巨大计算成本。 资源：Paper · Project · Code  · Weights · Demo：— |
 |
2021 — Latent Diffusion Models 连续 latent表示/机制：先用 autoencoder 把图像压缩到连续 latent，再在 latent 中做 diffusion，并以 cross-attention 接受文本等条件。 控制/任务：通用条件图像生成。 意义/边界：是 Video LDM 与大量视频 latent diffusion 的直接基础；压缩节省算力，也可能丢失细节。 资源：Paper · Project · Code  · Weights · Demo |
 |
2022 / NeurIPS 2022 — Video Diffusion Models 视频 diffusion表示/机制：将图像 diffusion 的 U-Net 扩展到时空域，联合图像与视频训练，并通过条件采样进行空间与时间延展。 控制/任务：无条件视频、视频预测和扩展。 意义/边界：系统证明 diffusion 可用于视频；像素空间训练和多步采样成本很高。 资源：Paper · Project · Code：未公开 · Weights：未公开 · Demo：— |
 |
2022 — Make-A-Video 弱配对文本视频表示/机制：从图文数据学习语义，从无标注视频学习运动，并以分解时空 U-Net 生成视频。 控制/任务：在无需成对文本—视频训练集的情况下做文本到视频。 意义/边界：缓解高质量视频字幕稀缺；跨数据源学到的语义与运动仍可能错配。 资源：Paper · Project · Code：未公开 · Weights：未公开 · Demo：— |
 |
2022 — Imagen Video 级联超分辨率表示/机制：低分辨率 base model 后接交错的空间与时间超分辨率 diffusion，并使用 v-parameterization 与 progressive distillation。 控制/任务：高分辨率文本到视频。 意义/边界：把分辨率与帧率逐级放大；多模型级联增加训练、推理与误差传播成本。 资源：Paper · Project · Code：未公开 · Weights：未公开 · Demo：— |
 |
2022 — Rectified Flow / Flow Matching 连续速度场表示/机制：学习把噪声运输到数据的 ODE 速度场；Rectified Flow 强调拉直运输轨迹，Flow Matching 提供无需模拟完整轨迹的条件速度回归。 控制/任务：最初是通用生成建模基础，随后进入大规模图像和视频模型。 意义/边界：可包含 diffusion path，也可使用其他概率路径；它不是简单的“逐步反向去噪”同义词。 资源：Paper-RF · Paper-FM · Project-RF · Project-FM · Code-RF  · Code-FM  · Weights：不适用 · Demo：— |
 |
2022 — Diffusion Transformer DiT 架构桥梁表示/机制：把连续 latent 切成 patch token，以 Transformer 替换常用 U-Net，并展示生成质量随模型计算规模提高。 控制/任务：原论文是类别条件图像生成。 意义/边界：为 Sora 与后续视频 DiT 提供直接架构桥梁；图像结果本身不证明视频时序能力。 资源：Paper · Project · Code（已归档）  · Weights · Demo（当前不可用） |
 |
2023 — Latent Video Diffusion 视频 latent diffusion表示/机制：从图像 LDM 预训练出发加入时间维，在视频上微调，并让图像 upsampler 具备时间对齐能力。 控制/任务：文本到视频和高分辨率视频合成。 意义/边界：首次公开和 CVPR 均为 2023；图像先验降低训练成本，但运动学习仍依赖视频数据。 资源：Paper · Project · Code：未公开 · Weights：未公开 · Demo：— |
 |
2023 — AnimateDiff 可插拔运动模块表示/机制：训练可插入同一基础文本图像 diffusion 家族的 motion module，并可用 MotionLoRA 学习新运动模式。 控制/任务：让个性化图像模型在尽量保留外观能力的同时生成动画。 意义/边界：显著降低社区视频化门槛；强图像先验不自动保证复杂物理和长程状态一致性。 资源：Paper · Project · Code  · Weights · Demo：— |
 |
2023 — Stable Video Diffusion 开放权重表示/机制：采用图像预训练、视频预训练、高质量视频微调三阶段流程，并系统研究视频数据筛选。 控制/任务：公开的重点权重用于图像到视频。 意义/边界：推动社区复现与应用；应称“开放权重”而非笼统“完全开源”，使用范围以模型卡为准。 资源：Paper · Project · Code  · Weights · Demo：— |
 |
2023 — W.A.L.T. 视频 diffusion Transformer表示/机制：causal encoder 在共享 latent 中压缩图像和视频，window attention 兼顾空间与时空生成，并以三级模型输出高分辨率视频。 控制/任务：联合图像/视频与文本到视频。 意义/边界：是 Sora 前重要的视频 DiT 节点；窗口化降低计算，也限制直接全局交互。 资源：Paper · Project · Code：未公开 · Weights：未公开 · Demo：— |
 |
2023/2024 — VideoCrafter1 / VideoCrafter2 开放研究生态表示/机制：VideoCrafter1 公开 T2V/I2V diffusion 权重；VideoCrafter2 探索用低质量视频学习运动、用高质量合成图像提升画质的解耦训练。 控制/任务：文本到视频、图像到视频。 意义/边界：提供可研究的开放基线；训练数据质量分离并不消除语义、运动和身份的一致性问题。 资源：Paper-V1 · Paper-V2 · Project-V1 · Project-V2 · Code  · Weights · Demo（当前不可用） |
 |
2024 — Lumiere 全时域联合生成表示/机制：Space-Time U-Net 在每个 diffusion step 联合处理完整时间范围，避免先生成关键帧再做时间超分。 控制/任务：文本到视频、图像动画与局部编辑。 意义/边界：“一次处理全时域”不等于一次网络调用完成采样；仍需要多步 diffusion。 资源：Paper · Project · Code：未公开 · Weights：未公开 · Demo：— |
 |
2024 — Sora 视频基础模型表示/机制：将压缩视频 latent 切成可适配不同时长、分辨率和宽高比的空时 patch，再以 diffusion Transformer 建模。 控制/任务：文本、图像与视频条件生成和编辑。 意义/边界：2024-02-15 发布的是技术报告和演示，未公开完整实现；报告展示最长一分钟样例，也同时公开物体永久性与物理失败。 资源：Tech Report · Project · Code：未公开 · Weights：未公开 · Demo：— |
 |
2024 — CogVideoX 开放视频 DiT表示/机制：3D causal VAE 做时空压缩，expert adaptive LayerNorm 融合文本/视频，并使用渐进训练与多分辨率 frame packing。 控制/任务：开放权重文本到视频和图像到视频。 意义/边界：补充了可复现的大规模视频 DiT 路线；论文中的领先结论依赖特定自动指标与人评设置。 资源：Paper · Project · Code · Weights · Demo |
 |
2024 — Movie Gen Flow Matching 媒体模型家族表示/机制：最大视频模型为 30B Transformer，在时空 latent 上采用 Flow Matching；最长上下文约 73K 视频 token。 控制/任务：把视频生成、个性化、精准编辑与同步音频组织成模型家族。 意义/边界：作者报告 16 秒、16 FPS、1080p 等结果；这是大规模 Flow Matching 进入视频的强证据，但不是单一 checkpoint 完成全部任务。 资源：Paper · Project · Code：未公开 · Weights：未公开 · Demo：— |
 |
2024 — HunyuanVideo 开放大型视频模型表示/机制：causal 3D VAE 压缩视频，dual-stream 到 single-stream 的 full-attention Transformer 融合文本/视频，并使用 flow-matching scheduler。 控制/任务：文本到视频，并公开代码和权重  。意义/边界：超过 13B 参数，缩小开放与闭源系统的规模差距；专业人评结论仍主要来自作者报告。 资源：Paper · Project · Code · Weights · Demo：— |
 |
2025 — Wan 2.1 首次预印本 前沿观察（暂定） 开放视频基础模型家族表示/机制：预印本提出视频 DiT 模型家族，以新 VAE、规模化预训练、数据治理和自动评测支撑 1.3B/14B 规模。 控制/任务：覆盖 T2V、I2V、视频编辑与个性化等任务，代码和模型开放  。意义/边界：作者报告 1.3B 版本约需 8.19 GB 显存；性能与效率数字应在具体硬件、分辨率和评测设置下理解。 资源：Preprint · Project · Code · Weights · Demo |
开放集视频个性化支线｜2022–2026：从每主体适配到多参考绑定¶
这条支线的参考图不占输出时间轴：目标是让测试时未见主体在新场景、动作和组合中保持身份，而不是复制首帧或修改既有视频。下表只标合同转折；完整论文、正式年份、开放工件与反证协议见开放集视频个性化。
| 时间 | 代表节点 | 合同转折 | 仍需保留的边界 |
|---|---|---|---|
| 2022–2023 | Textual Inversion、DreamBooth → AnimateDiff | 先学新图像概念/主体，再用通用 motion module 把个性化图像先验视频化 | 图像身份证据不等于时序、动作或绑定证据 |
| 2023–2024 | VideoDreamer、VideoBooth、DreamVideo、CustomVideo、DisenStudio、Magic-Me | 进入直接视频定制，并分化为逐主体优化、identity/motion adapter 和 feed-forward 图像提示 | 免调优不自动意味 open-set；多主体样例不等于 binding 定量 |
| 2024–2025 | ConsisID、Video Alchemist、Movie Weaver、VideoMage、PersonalVideo、MagicID / Phantom / DualReal | 从单主体适配推进到摊销式 open-set、多主体绑定和身份—运动 Pareto | 需说清是否每主体优化、适配预算及底座数据污染 |
| 2025 | MSRVTT-Personalization → OpenS2V-Nexus | 从演示转向 identity-disjoint 拆分、主体缺失计零、身份/运动分轴与规模化数据基础设施 | 人脸/图像代理指标仍不证明长时绑定、无泄漏或通用物体能力 |
| 2026 | AlcheMinT、ID-Crafter、Gloria、PoCo、ID-Sim / Vera | 多参考出现时窗、VLM-grounded RL、长时 anchor、位置控制与专用身份指标成为新前沿 | 正式论文、作者报告、占位仓库和可复现 checkpoint 必须分栏 |
同期闭源产品如何放入时间线¶
Veo、Kling 与 Runway Gen-3 Alpha 等 2024 产品推动了真实用户访问和创作工作流，但公开材料不足以确认完整训练目标与架构，因此这里把它们视为产业背景，不用产品展示替代可核验的技术节点。
World Model｜2018–2023：决策型模型的并行谱系¶
这条谱系来自控制、强化学习和规划，并不是文本视频生成自然“升级”而来。面向决策的 latent state 不必生成漂亮像素；能生成漂亮视频也不等于状态可用于规划。
 |
2018 — World Models 决策/规划表示/机制：VAE 压缩视觉观测，RNN 学习 latent dynamics，轻量 controller 在模型想象的环境中训练。 控制/任务：CarRacing 与 VizDoom 等控制任务。 意义/边界：把“表示、动态、控制器”模块化为经典范式；实验规模与环境复杂度仍有限。 资源：Paper · Project · Code  · Weights：未公开 · Demo |
 |
2018 — PlaNet 在线 latent 规划表示/机制：RSSM 同时包含确定性与随机 latent state，并以 latent overshooting 学习多步动态。 控制/任务：用 CEM 在 latent 中在线搜索动作序列。 意义/边界：首次公开于 2018，不是 2019；规划性能依赖模型在候选动作分布上的准确性。 资源：Paper · Project · Code（已归档）  · Weights：未公开 · Demo：— |
 |
2019 — Dreamer 想象中学习行为表示/机制：在学习到的 latent world model 中 rollout，并通过 imagined actor–critic 与解析梯度优化行为。 控制/任务：从像素学习连续控制。 意义/边界：把每步在线规划改成后台 latent imagination 训练；模型偏差仍会被策略利用。 资源：Paper · Project · Code  · Weights：未公开 · Demo：— |
 |
2019/2020 — MuZero 任务相关动态表示/机制：representation、dynamics 与 prediction networks 学习供搜索使用的 reward、value 和 policy，而不重建完整观测。 控制/任务：以 MCTS 规划 Atari、Go、国际象棋和将棋。 意义/边界：预印本 2019、Nature 版本 2020；它证明“对决策足够”不等于“视觉上完整的世界模拟器”。 资源：Paper · Project · Code：未公开 · Pseudocode · Weights：未公开 · Demo：— |
 |
2023 — DreamerV3 跨域 world model表示/机制：以归一化、平衡和变换等稳定化设计，让一套固定配置跨多类任务训练。 控制/任务：覆盖 150 多个任务；作者报告在无人工数据与 curriculum 下取得 Minecraft diamond 结果。 意义/边界：展示算法通用性，而不是证明一个模型在所有环境间共享同一世界知识。 资源：Paper · Project · Code  · Weights：未公开 · Demo：— |
 |
2023 — GAIA-1 驾驶生成式 world model表示/机制：把视频、文本和车辆动作离散为 token，自回归预测未来驾驶场景。 控制/任务：由 ego action 与文本条件控制天气、道路和车辆行为。 意义/边界：把视频生成与驾驶动作放入同一预测模型；生成合理场景不等于通过闭环自动驾驶安全验证。 资源：Paper · Project · Code：未公开 · Weights：未公开 · Demo：— |
 |
2023 — UniSim 动作条件视觉模拟表示/机制：汇集图像、机器人和导航数据，学习由高级语言或低级动作控制的视觉模拟器。 控制/任务：在生成经验中训练策略，再迁移到真实机器人。 意义/边界：作者报告零样本真实机器人迁移；这一结果来自特定任务与数据设置，不能泛化为任意现实环境的可靠模拟。 资源：Paper · Project · Code：未公开 · Weights：未公开 · Demo：— |
汇合节点｜2024：表示学习、交互视频与生成式游戏环境¶
Sora 在生成路线中提出“视频生成可能通向世界模拟器”的研究假设；同年，V-JEPA、Genie、GameNGen、DINO-WM 与 Genie 2 分别从 feature prediction、latent action、动作条件像素生成和显式交互推进这场讨论。
 |
2024 — V-JEPA 表示学习表示/机制：遮挡视频 tube，在 representation space 预测缺失时空信息，不重建全部像素。 控制/任务：无文本、无负样本的视频自监督表征学习。 意义/边界：把计算集中在可预测特征；它本身不是动作条件模型，也不是可交互像素生成器。 资源：Paper · Project · Code  · Weights · Demo：— |
 |
2024 — Genie 1 交互视频模拟表示/机制：11B 模型由时空 tokenizer、自回归 dynamics model 和 latent action model 组成，从无动作标签视频中发现控制信号。 控制/任务：主要从互联网 2D 平台游戏视频生成可控环境。 意义/边界：展示 latent action 的可扩展学习；并非已经覆盖通用 3D 或机器人世界。 资源：Paper · Project · Code：未公开 · Weights：未公开 · Demo：— |
 |
2024 — GameNGen 神经游戏引擎实验表示/机制：RL agent 采集 Doom 轨迹，扩散模型依据历史帧和动作预测下一帧。 控制/任务：在单一 Doom 环境中逐帧响应玩家动作。 意义/边界：作者报告单 TPU 约 20 FPS 和多分钟稳定生成；这是特定游戏实验，不是通用游戏引擎。 资源：Paper · Project · Code：未公开 · Weights：未公开 · Demo：— |
 |
2024 — Genie 2 官方发布 交互 3D 世界表示/机制：从单张图像生成可由键盘和鼠标控制的 3D 环境。 控制/任务：动作分支、相机运动与环境交互。 意义/边界：官方称一致性可达约一分钟，但多数示例为 10–20 秒；未蒸馏基础模型并非实时，实时蒸馏版以画质为代价。 资源：Paper/Report：— · Project · Code：未公开 · Weights：未公开 · Demo：— |
 |
2024 — DINO-WM 特征空间规划表示/机制：冻结 DINOv2 patch feature，学习动作条件 dynamics，并在测试时优化动作序列使预测特征接近目标特征。 控制/任务：无需专家示范、奖励或单独逆动力学模型的目标到达。 意义/边界：说明强视觉表征可直接支撑规划；证据来自有限控制环境，且成功依赖目标特征的可达性。 资源：Paper · Project · Code  · Weights · Demo：— |
不能混淆的证据¶
- 表示预测成功，不等于像素可生成。
- 开环动作条件 rollout，不等于闭环控制可靠。
- 能维持视觉一致性，不等于具有因果模型。
- 在一个游戏实时运行，不等于可泛化到任意交互世界。
并行进展｜2025：Physical AI、交互世界与原生音视频¶
2025 年的关键变化不是所有路线合成了一个“万能 world model”，而是视频模型、表征模型、交互世界、显式 3D 和机器人后训练开始共享更大的数据与模型基础。本节全部是截止日的 前沿观察（暂定）；指标、能力和限制均保留“作者/官方报告”的证据属性。
 |
2025 — NVIDIA Cosmos 首次预印本 前沿观察（暂定） Physical AI 平台表示/机制：技术报告提出由 autoregressive/diffusion world foundation models、tokenizer、数据整理、guardrail 和后训练工具组成的平台。 控制/任务：为机器人和自动驾驶等具体任务提供数据生成与模型底座。 意义/边界：首代官方名称是 Cosmos 平台/Predict1 系列，不是一个严格名为“Cosmos 1”的单模型；平台也不等于闭环机器人策略。 资源：Preprint / Technical Report · Project · Code  · Weights · Demo：— |
 |
2025 — Cosmos Predict2 官方技术发布 前沿观察（暂定） 世界状态生成表示/机制：官方技术发布称提供 2B/14B 世界状态视频生成模型，支持灵活分辨率、帧率和面向具体 Physical AI 场景的后训练。 控制/任务：文本、图像、首尾帧等条件的未来状态生成。 意义/边界：适合作为数据与预测底座；“物理准确”等性能为 NVIDIA 自评，具体控制收益仍需由下游任务独立验证。 资源：Technical Release · Project · Code  · Weights · Demo |
 |
2025 — V-JEPA 2 首次预印本 前沿观察（暂定） 表示到规划表示/机制：预印本报告先从超过一百万小时无动作互联网视频和图像学习表示，再用少于 62 小时 DROID 机器人数据训练动作条件模型。 控制/任务：作者在新实验室的 Franka 机械臂上，以目标图像完成 reach、grasp 与 pick-and-place。 意义/边界：“zero-shot”指无需目标实验室额外机器人数据、任务训练或奖励，并非完全没用机器人数据；论文还报告相机位姿敏感、长时误差和搜索成本等限制。 资源：Preprint · Project · Code  · Weights · Usage Demo |
 |
2025 — Veo 3 / Veo 3.1 官方产品发布 前沿观察（暂定） 创作模型 视觉探测表示/机制：Google 于 2025-05 发布原生音视频生成；后续预印本研究用黑盒 prompting 探测分割、边缘、物理属性、affordance、工具使用、迷宫与对称推理。 控制/任务：文本/图像到视频与音频、创作控制。 意义/边界：这些零样本能力来自后续黑盒研究，不代表显式 perception head 或机器人闭环验证；任务专用模型通常仍更强，部分结果依赖多次采样，该预印本也不支持“深度估计”这一旧表述。 资源：Probing Preprint · Project / Model Card · Code：未公开 · Weights：未公开 · Demo |
 |
2025 — Genie 3 官方研究发布 前沿观察（暂定） 交互世界表示/机制：官方页面报告从文本生成 720p、24 FPS 的动态世界，并允许通过文本事件改变环境。 控制/任务：官方演示实时导航与数分钟级交互一致性。 意义/边界：2025-08 初始发布为有限研究预览；截止日的 Project Genie 是可访问的实验性托管原型，仍受账号、订阅和地区等条件限制。官方还列出动作空间、多智能体、地理准确性、文字渲染和持续时长等限制。 资源：Official Research Release · Project · Code：未公开 · Weights：未公开 · Experimental Demo（受访问条件限制） |
 |
2025 — Matrix-Game 2 首次预印本 前沿观察（暂定） 开放交互视频世界表示/机制：预印本提出以 UE/GTA 等游戏数据和键鼠动作训练 few-step causal diffusion，逐帧生成可控画面。 控制/任务：键盘鼠标驱动的流式游戏交互。 意义/边界：作者报告约 1,200 小时数据、25 FPS 和分钟级交互；均是作者设置下的结果，不代表现实物理或跨游戏泛化。截止日官方仓库主线已纳入 3.0，本卡仍只记录 2.0 的历史节点。 资源：Preprint · Project · Code  · Weights · Demo：— |
 |
2025 — Marble 官方产品发布 前沿观察（暂定） 显式 3D 世界表示/机制：官方发布称可从文本、图像、视频或粗略 3D 条件生成可持续、可编辑、可扩展的世界，并可导出 Gaussian splat、mesh 或视频。 控制/任务：相机探索、世界编辑、扩展和资产导出。 意义/边界：它补上显式三维表示路线；官方仍把动态交互列为后续方向，因此不应写成动作条件动态模拟器。“可持续”等描述仍是产品自述，尚无论文或独立评测支持通用能力结论。 资源：Official Product Release · Project · Code：未公开 · Weights：未公开 · Demo（需账号/付费） |
 |
2025 — Sora 2 官方产品发布 前沿观察（暂定） 可用性：已下线表示/机制：官方发布称相较前代改进物理结果、多镜头控制和状态延续，并原生生成对白、环境声和音效。 控制/任务：复杂镜头指令、参考主体与同步音视频。 意义/边界：系统卡仍记录物理、控制、肖像同意、误导性媒体与来源风险；上述改进为官方自述，不是独立能力证据。官方页面注明 Sora 产品自 2026-04-26 起不再提供，但这不改变其历史节点地位。 资源：System Card · Project · Code：未公开 · Weights：未公开 · Demo：已下线 |
 |
2025 — GWM-1 官方研究/产品发布 前沿观察（暂定） 模型家族表示/机制：官方页面称以 Gen-4.5 为共同底座，分别后训练 Worlds、Avatars/Characters 与 Robotics 三个模型。 控制/任务：官方展示可探索世界、实时角色和机器人动作条件 rollout。 意义/边界：不是一个 checkpoint 同时完成全部任务；官方展示最长约两分钟、720p 的实时逐帧生成，但没有论文或独立评测支撑通用能力结论。 资源：Paper/Report：— · Official Page · Code：未公开 · Weights：未公开 · Access：Worlds/Robotics 需申请，Characters 已提供 Web/API |
World Model｜2026：世界—动作系统与可规划表征¶
本节全部是截止日的 前沿观察（暂定）。预印本、workshop camera-ready、开源工件和托管演示是不同证据，不使用一个“已发布”统称。
 |
2026 — Cosmos 3 首次预印本 前沿观察（暂定） Omnimodal 模型家族表示/机制：技术报告提出 Edge、Nano、Super 等尺度共享自回归 reasoner 与 diffusion generator 双塔 Mixture-of-Transformers 架构。 控制/任务：作者报告这个家族可接收语言、图像、视频、音频和动作，并以不同后训练版本覆盖视觉语言推理、音视频生成、forward/inverse dynamics 和机器人策略。 意义/边界：这是统一架构下的模型家族，不是一个 checkpoint 已同时解决全部 Physical AI 任务；基准结果仍是作者自评。 资源：Preprint / Technical Report · Project · Code  · Weights / Model Cards · Demo |
 |
2026 — V-JEPA 2.1 首次预印本 前沿观察（暂定） 稠密表征表示/机制：预印本提出通过 dense predictive loss、跨层 deep self-supervision、统一图像—视频输入表示和规模扩展学习 dense 时空特征。 控制/任务：服务视觉理解、密集预测与机器人后训练。 意义/边界：作者报告相对 V-JEPA 2-AC 抓取成功率提高 20 个百分点；它仍主要是 representation/world-modeling 方法，不是交互式像素世界生成器。 资源：Preprint · Project · Code · Weights · Demo |
 |
2026 — LeWorldModel 首次预印本 前沿观察（暂定） 端到端 latent dynamics表示/机制：预印本提出以 next-embedding prediction 和 Gaussian latent regularization，从原始像素稳定联合训练 encoder 与动作条件 dynamics。 控制/任务：作者在 latent rollout 上执行 model predictive control。 意义/边界：作者报告约 15M 参数、单 GPU 数小时训练和显著规划加速；证据来自小规模 2D/3D 控制实验，不能外推为 foundation-scale Physical AI。 资源：Preprint · Project · Code / Data  · Weights · Demo：— |
 |
2026 — EB-JEPA Workshop camera-ready 前沿观察（暂定） 教学/研究组件表示/机制：作者将 context encoder、predictor、collapse regularization 与 latent planning 拆成轻量模块。 控制/任务：覆盖 CIFAR-10 表征、MovingMNIST 多步预测和 Two Rooms 动作规划。 意义/边界：价值在于单卡、数小时级可复现实验；它是 toy-scale 教学库，不是现实世界 foundation model。arXiv v3 标注为 ICLR 2026 World Models Workshop camera-ready，不写成 ICLR 主会正式发表。 资源：Workshop Paper / Preprint · Project  · Code · Weights：未公开 · Demo：— |
视频基础模型｜2026：原生音视频与多模态创作¶
这些模型代表生成—参考—编辑一体化，但目前没有证据证明它们已经构成可用于机器人闭环控制的 Physical AI world model。本节全部是截止日的 前沿观察（暂定）；官方产品规格不作为已独立验证的研究结论。
 |
2026 — Kling Video 3 / Video 3 Omni 官方产品发布 前沿观察（暂定） 创作模型表示/机制：官方产品页称以统一多模态输入输出支持文本、图像、音频和视频参考。 控制/任务：官方规格包括文本/图像/参考到视频、视频内编辑、最长 15 秒多镜头 storyboard 与原生多语言/方言音频。 意义/边界：代表创作控制和音视频联合生成的产品方向；没有论文、开源权重、机器人闭环或可规划状态证据。 资源：Official Product Release · Product Guide · Code：未公开 · Weights：未公开 · Demo（需账号/地区限制） |
 |
2026 — Seedance 2.0 官方产品发布 arXiv model card 前沿观察（暂定）表示/机制：官方模型卡称采用统一多模态音视频架构，可同时接收文本、图像、视频和音频参考。 控制/任务：官方规格为最多 9 张图像、3 段视频、3 段音频参考，生成最长 15 秒多镜头立体声音视频，并支持编辑与延展。 意义/边界：官方仍列出细节稳定性、复杂动态、多主体、文字和音频失真等限制；自评结果不是同行评议或独立复现。 资源：Model Card / Preprint · Project · Code：未公开 · Weights：未公开 · Demo（需账号/地区限制） |
 |
2026 — MiniMax H3 官方技术发布 前沿观察（暂定） 部分开放权重表示/机制：官方技术说明称将文本、图像、视频和音频编码为 packed multimodal sequence，由 33B dense single-stream H3-Omni-Transformer 联合预测视频与双声道音频 latent；视觉与音频分别使用 H3-VisualVAE 和 H3-AudioVAE。 控制/任务：官方规格覆盖文本、首/尾帧和全模态参考生成；Ref2VA 最多接收 9 张图像、3 段视频和 3 段音频且总文件不超过 12 个，托管系统规格为 4–15 秒、24 FPS、32 kHz 立体声，2K 通过 in-context regeneration 获得。 意义/边界：2026-08-03 开放的是两个 CFG-distilled H3-Base checkpoint，本地 Base 工作流输出 768p；H3-Context-IR、H3-Regenerate-2K 与初版 sparse-attention 实现并未随首批权重开放，因此不能把完整托管 2K 系统笼统称为全部开源；性能仍是官方自评。 资源：Official Technical Release · Project · Code  · Base Weights · Hosted Demo（需账号/地区限制） |
 |
2026 — Seedance 2.5 官方产品发布 前沿观察（暂定） 创作模型表示/机制：官方发布称在 Seedance 2.0 的联合音视频架构上强化长叙事、参考生成与局部编辑。 控制/任务：官方规格为单次最长 30 秒、支持多轮延展，最多 30 张图像、10 段视频和 10 段音频参考，并支持时间戳级编辑。 意义/边界：截至 2026-08 是该路线更新节点；复杂物理、多主体与长时状态稳定性仍需独立评测，官方也明示了相关限制。 资源：Official Product Release · Project · Code：未公开 · Weights：未公开 · Demo（需账号/地区限制） · API：发布页仍标注即将提供 |
如何正确阅读这条时间线¶
对每个节点都问六个问题：
- 表示是什么？ 原始像素、光流、离散 code、连续 latent、feature，还是显式 3D？
- 时间如何建模？ 帧重组、RNN、变换核、自回归、masked prediction、diffusion、速度场，还是动作条件 dynamics？
- 骨干怎样混合？ patch/grid、full/factorized/window/sparse/linear mixer、mask、3D position、condition fusion、total/active parameters 分别是什么？
- 控制信号是什么？ 历史帧、文本、图像、音频、相机、键鼠、机器人动作，还是目标状态？
- 成本怎样产生？ 每次 denoiser FLOPs、NFE、precision、cache、并行、通信与 codec 是否分别报告？
- 成功如何证明？ 画质、人评、likelihood、FVD、长距/绑定/网格外推、实时帧率、规划回报，还是现实任务成功率？
最需要避免的四种推断是：
- 画面逼真 ⇒ 物理正确；
- 能预测视频 ⇒ 能支持规划；
- 开环 demo 稳定 ⇒ 闭环控制可靠；
- 官方 benchmark 领先 ⇒ 已被独立复现。
JEPA 从图像表征、视频预测到动作条件规划的独立演化，见 JEPA 参考阅读。视频表示的完整定义、预算与 codec 验收见视频 Tokenizer 与生成式压缩，attention/fusion/MoE/parallel/cache 的机制与反证见Video DiT 与骨干扩展；具体任务与模型则见 任务与方法分类、评测指南 和 开放模型与代码。