如果 AI Agent 能够在脑中”模拟”任何数字环境,然后据此规划行动——它就不再需要用真实环境来学习,也不再受限于特定工具的 API 规格。这正是 Qwen-AgentWorld(arXiv 2606.24597)的核心命题。
论文背景:Agent 训练的根本瓶颈
当前 LLM Agent 的训练面临一个长期未被充分解决的问题:真实环境太贵、太慢、太专用。
以 WebArena 为例,训练一个网页浏览 agent 需要大量的浏览器交互数据,每次交互都涉及页面加载、DOM 解析、截图处理。这不只是速度问题——某些环境动作不可逆(提交表单、发送邮件),无法无限重置用于强化学习采样。
更深层的问题是迁移性:为网页任务训练的 agent 迁移到代码执行任务时,性能往往大幅下降。每个新环境都需要重新收集训练数据、重新微调,这极大限制了通用 agent 的发展。
Qwen-AgentWorld 的答案是:用语言建模代替真实环境,一个模型统一学习所有数字环境的动态规律。
核心概念:Language World Model(LWM)
论文的核心贡献是语言世界模型(Language World Model,LWM)的形式化定义:
LWM 是一个条件文本生成器,接受「系统提示 + 历史交互 + 当前动作」,预测下一个环境观测。
用形式化语言表示:给定系统提示 c、时刻 t 的环境观测 o_t、Agent 动作 a_t,LWM 预测下一观测 o_{t+1}。
与向量空间的传统世界模型不同,LWM 的所有输入输出都是自然语言——无论是网页的 HTML 片段、代码执行的终端输出,还是 API 的 JSON 响应,都被统一表示为文本。这种统一表示让单个 LWM 能够跨越异质环境边界。
关键洞察是利用 LLM 的**长链式推理(Long CoT)**能力:在预测下一状态之前,LWM 先「思考」环境的内部逻辑,再给出预测。这种显式推理过程显著提高了复杂交互场景下的预测准确性。
技术架构
数据构建
LWM 的训练数据来自三个层次:
第一层:真实环境交互轨迹。从 WebArena、OSWorld 等现有 agentic 基准的数据集中提取(状态, 动作, 下一状态)三元组,覆盖真实数字环境的多样性。
第二层:合成扩增。真实数据中长轨迹的数量有限,团队用 LLM 对现有轨迹进行”再标注”——生成更丰富的推理步骤(chain-of-thought),扩充训练信号的密度。
第三层:跨环境对齐。不同环境有不同的观测格式(HTML vs. JSON vs. 终端文本),团队设计了统一的结构化模板,让 LWM 学到跨格式的通用动态规律。
两阶段训练
阶段一:LWM Warm-up。先做世界模型预测任务——给定历史交互和当前动作,预测下一个观测状态。这个阶段不涉及任何 agent 任务的奖励信号,只是单纯学会”模拟环境”。
这一阶段产生了论文中最有趣的发现之一:经过 LWM warm-up 的模型,即使不做任何 agent 任务微调,在 agentic 基准上的零样本性能就有显著提升。理解环境如何响应动作,本身就赋予了模型更强的规划能力。
阶段二:Agent 训练(以 LWM 为环境)。用训练好的 LWM 替代真实环境,进行 Agent 强化学习。
此时 LWM 同时承担两个角色:
- 世界模型:预测每步动作后的环境状态
- 奖励模型:判断 agent 是否完成任务目标
Agent 在 LWM 模拟的环境中通过大规模并行采样积累经验,速度比真实环境快一个数量级。
实验结果
模型规格
| 模型 | 总参数 | 激活参数 | 架构 |
|---|---|---|---|
| Qwen-AgentWorld-35B-A3B | 35B | 3B | MoE |
| Qwen-AgentWorld-397B | 397B | 密集激活 | Dense |
两个模型均基于 Qwen3 系列,开源于 HuggingFace。35B 版本采用 MoE 架构(每次激活约 3B 参数),推理成本远低于同规模 Dense 模型。
跨 7 个基准的性能
| 基准 | 环境类型 | vs. Qwen3-35B 基线 | vs. 同规模最优基线 |
|---|---|---|---|
| WebArena | 网页浏览 | +12.3% | +5.1% |
| OSWorld | GUI 操作 | +8.7% | +3.9% |
| AgentWorldBench-API | API 调用 | +15.2% | +8.4% |
| AgentWorldBench-Code | 代码执行 | +11.8% | +6.2% |
| AgentWorldBench-DB | 数据库操作 | +9.4% | +4.7% |
| AgentWorldBench-FS | 文件系统 | +7.6% | +3.1% |
| AgentWorldBench-Terminal | 终端交互 | +18.9% | +11.3% |
(数据来自论文表 3,35B 版本与各基准最优基线对比)
Terminal 和 API 调用场景提升最为显著,正好是当前 agentic AI 应用的核心场景。
Zero-Shot 迁移的关键数据
论文的重要消融实验:
| 训练策略 | WebArena | OSWorld |
|---|---|---|
| 仅 Qwen3-35B 基线 | 基准 | 基准 |
| +LWM Warm-up(无 agent 微调) | +6.8% | +5.2% |
| +LWM Warm-up + Agent 训练 | +12.3% | +8.7% |
即使不做 agent 任务的专项训练,仅仅通过”学会预测环境”,agentic 能力就有统计显著的提升。
核心贡献与工程意义
对 Agent 研究的影响:
传统上,训练特定任务的 Agent 需要为每种环境维护独立的训练管道。LWM 提供了一条”一次训练,多环境泛化”的路径——在 LWM 上训练的 Agent 天然具备跨环境的迁移能力,因为它学到的是环境动态的通用规律,而非特定 API 的使用方式。
对基础设施的影响:
用 LWM 替代真实环境意味着 Agent 训练可以完全在 GPU 集群上进行,无需维护复杂的环境基础设施(浏览器集群、沙箱环境、API 模拟)。训练速度的提升使得快速迭代 Agent 策略成为可能。
开源的工程价值:
两个规模的模型权重和 AgentWorldBench 数据集均已开源,配套发布了 QwenLM/Qwen-AgentWorld GitHub 仓库,包含完整的推理代码。35B MoE 版本可以在单张 A100 80G 上运行(量化后甚至可以跑在 RTX 4090 集群),为研究团队提供了可实际使用的强大 agent 基础。
局限性与未解决问题
LWM 的幻觉问题:LWM 毕竟是预测模型,对于复杂的环境状态(如包含大量动态内容的网页)可能产生不准确的预测。当 Agent 在 LWM 模拟环境中学到的策略迁移到真实环境时,可能面临分布偏移。
计算成本:397B 规模的模型推理成本仍然较高,不适合对延迟敏感的在线 agent 场景。35B MoE 版本在这方面提供了更好的平衡。
动态变化环境:真实网页、API 服务会随时间变化,LWM 的训练数据是某一时间点的快照,对最新 UI 或 API 的泛化能力有待验证。
小结
Qwen-AgentWorld 的核心贡献不只是”又一个更好的 Agent”——它提出了一个从根本上改变 Agent 训练范式的思路:把环境本身语言化,让 LLM 同时承担世界理解和策略学习的双重角色。
7 个 agentic 基准的全面提升,加上 zero-shot 迁移的有效性,初步验证了这条路的可行性。配合 AgentWorldBench 和开源权重,这是近期值得工程团队深入跟进的研究方向。