Paper

Qwen-AgentWorld 论文速读:用语言模型预测环境动态,统一训练通用 Agent

6 min read ·

如果 AI Agent 能够在脑中”模拟”任何数字环境,然后据此规划行动——它就不再需要用真实环境来学习,也不再受限于特定工具的 API 规格。这正是 Qwen-AgentWorld(arXiv 2606.24597)的核心命题。

论文背景:Agent 训练的根本瓶颈

当前 LLM Agent 的训练面临一个长期未被充分解决的问题:真实环境太贵、太慢、太专用

以 WebArena 为例,训练一个网页浏览 agent 需要大量的浏览器交互数据,每次交互都涉及页面加载、DOM 解析、截图处理。这不只是速度问题——某些环境动作不可逆(提交表单、发送邮件),无法无限重置用于强化学习采样。

更深层的问题是迁移性:为网页任务训练的 agent 迁移到代码执行任务时,性能往往大幅下降。每个新环境都需要重新收集训练数据、重新微调,这极大限制了通用 agent 的发展。

Qwen-AgentWorld 的答案是:用语言建模代替真实环境,一个模型统一学习所有数字环境的动态规律

核心概念:Language World Model(LWM)

论文的核心贡献是语言世界模型(Language World Model,LWM)的形式化定义:

LWM 是一个条件文本生成器,接受「系统提示 + 历史交互 + 当前动作」,预测下一个环境观测。

用形式化语言表示:给定系统提示 c、时刻 t 的环境观测 o_t、Agent 动作 a_t,LWM 预测下一观测 o_{t+1}

与向量空间的传统世界模型不同,LWM 的所有输入输出都是自然语言——无论是网页的 HTML 片段、代码执行的终端输出,还是 API 的 JSON 响应,都被统一表示为文本。这种统一表示让单个 LWM 能够跨越异质环境边界。

关键洞察是利用 LLM 的**长链式推理(Long CoT)**能力:在预测下一状态之前,LWM 先「思考」环境的内部逻辑,再给出预测。这种显式推理过程显著提高了复杂交互场景下的预测准确性。

技术架构

数据构建

LWM 的训练数据来自三个层次:

第一层:真实环境交互轨迹。从 WebArena、OSWorld 等现有 agentic 基准的数据集中提取(状态, 动作, 下一状态)三元组,覆盖真实数字环境的多样性。

第二层:合成扩增。真实数据中长轨迹的数量有限,团队用 LLM 对现有轨迹进行”再标注”——生成更丰富的推理步骤(chain-of-thought),扩充训练信号的密度。

第三层:跨环境对齐。不同环境有不同的观测格式(HTML vs. JSON vs. 终端文本),团队设计了统一的结构化模板,让 LWM 学到跨格式的通用动态规律。

两阶段训练

阶段一:LWM Warm-up。先做世界模型预测任务——给定历史交互和当前动作,预测下一个观测状态。这个阶段不涉及任何 agent 任务的奖励信号,只是单纯学会”模拟环境”。

这一阶段产生了论文中最有趣的发现之一:经过 LWM warm-up 的模型,即使不做任何 agent 任务微调,在 agentic 基准上的零样本性能就有显著提升。理解环境如何响应动作,本身就赋予了模型更强的规划能力。

阶段二:Agent 训练(以 LWM 为环境)。用训练好的 LWM 替代真实环境,进行 Agent 强化学习。

此时 LWM 同时承担两个角色:

Agent 在 LWM 模拟的环境中通过大规模并行采样积累经验,速度比真实环境快一个数量级。

实验结果

模型规格

模型总参数激活参数架构
Qwen-AgentWorld-35B-A3B35B3BMoE
Qwen-AgentWorld-397B397B密集激活Dense

两个模型均基于 Qwen3 系列,开源于 HuggingFace。35B 版本采用 MoE 架构(每次激活约 3B 参数),推理成本远低于同规模 Dense 模型。

跨 7 个基准的性能

基准环境类型vs. Qwen3-35B 基线vs. 同规模最优基线
WebArena网页浏览+12.3%+5.1%
OSWorldGUI 操作+8.7%+3.9%
AgentWorldBench-APIAPI 调用+15.2%+8.4%
AgentWorldBench-Code代码执行+11.8%+6.2%
AgentWorldBench-DB数据库操作+9.4%+4.7%
AgentWorldBench-FS文件系统+7.6%+3.1%
AgentWorldBench-Terminal终端交互+18.9%+11.3%

(数据来自论文表 3,35B 版本与各基准最优基线对比)

Terminal 和 API 调用场景提升最为显著,正好是当前 agentic AI 应用的核心场景。

Zero-Shot 迁移的关键数据

论文的重要消融实验:

训练策略WebArenaOSWorld
仅 Qwen3-35B 基线基准基准
+LWM Warm-up(无 agent 微调)+6.8%+5.2%
+LWM Warm-up + Agent 训练+12.3%+8.7%

即使不做 agent 任务的专项训练,仅仅通过”学会预测环境”,agentic 能力就有统计显著的提升。

核心贡献与工程意义

对 Agent 研究的影响

传统上,训练特定任务的 Agent 需要为每种环境维护独立的训练管道。LWM 提供了一条”一次训练,多环境泛化”的路径——在 LWM 上训练的 Agent 天然具备跨环境的迁移能力,因为它学到的是环境动态的通用规律,而非特定 API 的使用方式。

对基础设施的影响

用 LWM 替代真实环境意味着 Agent 训练可以完全在 GPU 集群上进行,无需维护复杂的环境基础设施(浏览器集群、沙箱环境、API 模拟)。训练速度的提升使得快速迭代 Agent 策略成为可能。

开源的工程价值

两个规模的模型权重和 AgentWorldBench 数据集均已开源,配套发布了 QwenLM/Qwen-AgentWorld GitHub 仓库,包含完整的推理代码。35B MoE 版本可以在单张 A100 80G 上运行(量化后甚至可以跑在 RTX 4090 集群),为研究团队提供了可实际使用的强大 agent 基础。

局限性与未解决问题

LWM 的幻觉问题:LWM 毕竟是预测模型,对于复杂的环境状态(如包含大量动态内容的网页)可能产生不准确的预测。当 Agent 在 LWM 模拟环境中学到的策略迁移到真实环境时,可能面临分布偏移。

计算成本:397B 规模的模型推理成本仍然较高,不适合对延迟敏感的在线 agent 场景。35B MoE 版本在这方面提供了更好的平衡。

动态变化环境:真实网页、API 服务会随时间变化,LWM 的训练数据是某一时间点的快照,对最新 UI 或 API 的泛化能力有待验证。

小结

Qwen-AgentWorld 的核心贡献不只是”又一个更好的 Agent”——它提出了一个从根本上改变 Agent 训练范式的思路:把环境本身语言化,让 LLM 同时承担世界理解和策略学习的双重角色。

7 个 agentic 基准的全面提升,加上 zero-shot 迁移的有效性,初步验证了这条路的可行性。配合 AgentWorldBench 和开源权重,这是近期值得工程团队深入跟进的研究方向。

Frequently asked questions

语言世界模型(LWM)和传统世界模型有什么区别?
传统世界模型(如 Dreamer、MuZero)用向量或潜空间表示环境状态,专为特定游戏或模拟器设计,难以跨任务迁移。LWM 完全用自然语言建模,把环境观测、动作、下一状态都表达为文本,使用 LLM 的 CoT 推理来预测状态转移。这让它能用一个通用模型处理网页浏览、代码执行、API 调用等异质数字环境。
用 LLM 模拟作为训练环境比真实环境有什么优势?
真实环境训练有两个主要痛点:一是速度慢(网络延迟、API 限流、UI 渲染),二是状态不可重置(某些真实环境的动作不可逆)。LWM 作为训练环境完全在内存中运行,速度快 10-100 倍,且可以无限重置、并行采样,大幅降低 Agent 训练的数据收集成本。
论文中的 zero-shot 迁移是什么意思?
即使不针对 agent 任务进行任何专项微调,仅仅通过「学会预测环境动态」(LWM warm-up)得到的模型,在 agentic 基准测试中就比基线 Qwen 模型更强。这说明预测性世界知识会自发转化为 agentic 能力——理解环境如何响应动作,本身就是一种有效的 agent 能力预热。
AgentWorldBench 和现有 agentic 基准有什么不同?
现有基准(如 WebArena、OSWorld)大多针对单一环境类型。AgentWorldBench 是 Qwen 团队配套发布的基准集,覆盖 7 种异质数字环境:网页浏览、代码执行、文件系统、API 调用、数据库、终端操作和自定义工具,测试 Agent 的跨环境泛化能力。
35B 和 397B 两个规模的差异在哪里,应该用哪个?
35B(Qwen-AgentWorld-35B-A3B,MoE 架构每次激活 3B 参数)适合本地部署和低延迟场景,推理成本接近 3B Dense 模型;397B 是旗舰规模,在复杂多步骤任务上显著更强,适合对精度有要求的服务端部署。两个模型权重均已在 HuggingFace 开源。
// next.txt ›

Some outbound links in this post are affiliate links — see disclosure.