Coding World Model：代码驱动的世界建模¶
用可执行程序表示和更新世界状态，并研究它与规划、视频生成和反馈的连接。
使用步骤： 明确代码建模的对象 → 分离状态转移与视觉呈现 → 构建条件接口 → 分层验证状态、画面和决策。
1. 定义与范围¶
本章用 Coding World Model 作为工作性总称，覆盖代码参与世界建模的路线；它不是统一的社区标准名称。需要先区分三种对象：
| 路线 | 世界是什么 | 模型或程序做什么 | 本章定位 |
|---|---|---|---|
| 可执行动力学 | 游戏、任务或环境 | 从描述或交互归纳状态转移程序，供规划器执行 | WorldCoder、GIF-MCTS |
| 代码驱动的视觉世界 | 有实体、规则和事件的交互世界 | coding agent 维护状态，视频模型生成观测 | 本章主线：Coding Agent as World Brain |
| 程序执行世界模型 | Python 解释器、软件容器等计算环境 | 神经模型预测执行后状态，辅助编程推理 | FAIR CWM，作为术语消歧 |
普通 coding agent 生成一段游戏代码，或为视频工具写调用脚本，并不足以说明它已建立可验证的环境动力学。需要检查代码中是否存在状态、动作后果、持续执行的规则，以及可与外部反馈比较的预测。
与智能体视频生成的分工是：后者维护制作计划、素材和返工流程；本章维护被描绘世界的状态和规则。两者可以组合，但制作流水线的成功不能替代世界状态正确性。
2. 代表方法与技术脉络¶
| 工作 | 首次公开 | 核心机制 | 应如何解读证据 |
|---|---|---|---|
| WorldCoder [1] | 2024-02 | 通过交互编写和修正 Python 世界模型，支持基于模型的规划 | 支持指定环境中的规则学习与规划，不能外推为开放视觉世界 |
| Generating Code World Models… / GIF-MCTS [2] | 2024-05 | 用树搜索组织生成、改进和修复程序；提出 CWMB | 程序合成、环境轨迹和规划共同验证；不是视频画质基准 |
| FAIR CWM [3] | 2025-09 | 用解释器与容器交互轨迹训练模型理解程序执行 | 世界建模服务编程推理，不能与视觉世界生成同名等同 |
| Code World Model: Coding Agent as World Brain [4] | 2026-08 | 可执行状态经 proxy 接入视频模型 | 连接程序状态与视觉生成的原型；已展示范围与长期愿景需分开 |
上述顺序表示研究问题的联系，不主张各工作构成直接继承链。年份采用 arXiv 首次提交时间，避免用编号月份推断日期。
3. 状态、程序与视觉接口¶
下面是本手册的接口解释，便于定位故障，不是新增算法或论文原式：
- 读取实体表、属性、事件历史及当前动作，确定哪些规则需要执行。
- coding agent 在需要时选择或修正规则；运行时程序执行重复更新，保存新状态。
- 编译器将位置、轨迹、布局和相机等可视状态转成 proxy 条件。
- 视频模型根据 proxy、文本和视觉历史生成观测。
- 分别核对程序状态和生成画面；若接入真实环境，以独立观测校正估计。
代码可重复执行，只保证相同程序与输入下的行为可复查，不保证程序实现了正确规律。 渲染器遵循 proxy，也只说明接口遵循；proxy 自身可能已经表达了错误结果。
3.1 Coding Agent as World Brain¶
Chen、Lin 与 Zhang 的原型把 agent 的规则维护、代码运行和视频生成分开；以粗粒度 proxy 沟通状态与画面。其 MiniMax-H3 适配结果主要展示 proxy 对视觉输出的控制 [4]。作者项目页提供管线与配对数据示例。
这里应区分两个问题：世界下一步如何变化，以及该变化如何呈现。前者由规则与代码承担，后者仍依赖视频模型；外观连续也需要视觉历史，不能仅靠实体坐标表。
3.2 Proxy 的设计取舍¶
proxy 太稀疏会遗漏关键关系；太细则增加构造负担。应按任务选择最低必要状态，并测试文本与结构条件冲突时模型的行为。proxy 是视觉接口，不等于完整状态，更不等于完整物理模拟器。
3.3 已展示范围与限制¶
论文的实验主要是定性视觉控制；作者明确说明未实现自回归实时生成，也未展示自主构造完整开放世界游戏或模拟器 [4]。因此，本章将其作为架构与接口原型，不把视频示例写成长时闭环、实时交互或机器人决策能力已获验证。
4. 数据与实现流程¶
以下为实验设计建议，尚未在本仓库运行。
| 环节 | 应保存的材料 | 主要检查 |
|---|---|---|
| 规则归纳 | 环境描述、观测轨迹、动作、程序版本 | 哪些规则已知，哪些由模型推断；是否使用测试环境真值 |
| 状态执行 | 初始状态、随机种子、事件日志、状态快照 | 合法动作、边界条件、不可逆事件及重放一致性 |
| 条件编译 | 实体 ID、相机、proxy、时间戳 | 遮挡、身份绑定、坐标系和帧同步 |
| 视觉训练 | 对齐的 proxy–RGB 对与文本 | 按场景或完整轨迹划分，避免相邻片段跨训练测试集 |
| 在线修正 | 新观测、状态差异、规则补丁 | 状态修正与规则变化分别记录，补丁需回归已有事件 |
真实视频的状态提取含估计误差；不能把由同一提取器生成的训练标签和评分结果视作独立真值。纯视频中的动作后果也未必足以唯一识别隐藏规则，需要干预或额外假设。
5. 评测与系统归因¶
沿用评测指南的报告约定，分项呈现，不给程序与画面混合总分。
| 被测组件 | 实验设计 | 必须隔离的混淆 |
|---|---|---|
| 规则与转移程序 | 未见状态、动作组合、边界输入；与独立环境对照 | 通过已有单元测试不等于覆盖未见规则 |
| 长期状态 | 移走物体、离场、推进时间、返回；检查事件后果 | 只比较相邻帧会漏掉状态重置 |
| proxy 与视频模型 | 固定正确状态，改变视觉风格；测实体数、轨迹与遮挡 | 高画质掩盖条件不遵循 |
| 动作反事实 | 相同初始状态与成对随机性，改变动作分支 | 程序自己生成答案又自己评分 |
| 规划与策略 | 固定 planner，在独立环境比较任务成功和收益 | 把 planner 的贡献算作视频模型推理 |
| 运行成本 | 分记 agent 调用、程序运行、编译、视频生成及端到端尾延迟 | 程序高频运行不代表画面可实时交互 |
建议做四组消融：视频模型直接预测；已知正确程序加传统渲染；已知正确程序加视频渲染；学习程序加同一视频渲染。各组固定任务、初始条件与预算报告口径。这样可以分别判断规则学习、视觉接口与整体系统带来的收益。
6. 常见问题与开放方向¶
- 画面与状态冲突： 先定位程序、编译器还是视频模型出错；不要直接让视觉幻觉覆盖已确认状态。
- 规则补丁破坏历史： 保存程序版本和事件重放；测试旧行为与新规则是否兼容。
- 确定性程序遗漏不确定性： 显式表示随机因素、隐藏状态和信念，避免把一次观察硬编码成普遍规则。
- 世界越大越难维护： 研究实体交互、并发事件和局部规则更新，而不是只增加视频时长。
- 混合系统的研究归因： 检查新能力来自外部代码、状态监督、视频后训练，还是它们的接口；可执行性不自动证明因果识别。
研究重点可以落在规则泛化、程序错误校正、状态与观测对齐，以及有限计算预算下的闭环效用。对应章节：WAM、交互式世界生成、物理一致性、视觉推理。
资料版本¶
2026-10-15 核验上述四篇论文入口，并阅读 Coding Agent as World Brain v1 的方法、实验与限制。未运行模型；不提供独立性能结论，也未全面核验代码、权重和许可证状态。来源范围见调研记录。
参考文献¶
[1] WorldCoder, a Model-Based LLM Agent: Building World Models by Writing Code and Interacting with the Environment. arXiv:2402.12275. 首次公开 2024-02.
[2] Generating Code World Models with Large Language Models Guided by Monte Carlo Tree Search. arXiv:2405.15383. 首次公开 2024-05.
[3] CWM: An Open-Weights LLM for Research on Code Generation with World Models. arXiv:2510.02387. 首次公开 2025-09.
[4] Code World Model: Coding Agent as World Brain. Yiwen Chen, Guosheng Lin, Chi Zhang. arXiv:2608.25927, v1. 2026-08. 全文 · 项目.