Long-form

深度长文:Solaris 之后,界面世界模型会重塑多模态 Agent

6 min read ·

产品发布渠道里,Runway Solaris 这类多模态模型很容易被当成“又一个视频生成模型”。但如果把它和 arXiv 上的 Web Agent 世界模型、Hacker News 对工具自动化的讨论、Reddit r/MachineLearning 对 agent 可靠性的争论放在一起看,信号会更清楚:多模态 AI 正从“生成看起来合理的内容”走向“理解可操作世界”。参考来源包括 RunwayarXiv cs.AI recentHacker NewsReddit r/MachineLearning

这里的“世界”不一定是物理世界。对大多数开发者来说,最先被重塑的是界面世界:浏览器、设计软件、游戏编辑器、数据看板、CRM、IDE、工单系统。它们都有共同特征:屏幕上有对象,对象有状态,用户动作会改变状态,状态变化又决定下一步能做什么。

如果模型只会看图,它只能描述“这里有一个按钮”。如果模型拥有界面世界模型,它应该知道“这个按钮可能提交表单,提交前应该检查必填字段,提交后可能出现成功提示或错误信息”。这正是多模态 agent 从 demo 走向生产时缺的能力。

从生成画面到理解状态

视频生成模型的早期竞争集中在画质、时长、风格和提示词遵循。专业用户真正关心的还有一致性:同一个角色在多个镜头里是否稳定,同一个物体是否会凭空变化,镜头运动是否符合空间关系,编辑指令是否能局部生效。

这些问题本质上都是状态问题。一个角色不是每帧重新生成的像素,而是跨时间存在的对象。一个镜头不是孤立图片,而是从一个状态过渡到另一个状态。创意工具要进入专业流程,就必须把这种状态显式或隐式地建模出来。

界面自动化也一样。一个订单页面不是静态截图,而是业务状态的投影。按钮、表格、筛选器、弹窗和权限错误都在表达系统状态。Agent 如果无法理解状态,就只能靠语言猜下一步。

为什么界面是最现实的世界模型训练场

物理机器人很难,因为真实世界采样贵、风险高、传感器复杂。游戏世界更可控,但和企业生产系统之间仍有距离。界面世界处在中间:它足够真实,承载大量工作;又足够可记录,所有动作和状态都能被日志化。

一次界面操作天然包含训练信号:

initial_screen -> user_action -> next_screen -> success_or_fix

这比纯文本对话更接近 agent 需要的经验。用户点了哪里,界面怎么变,下一步是否继续,最终是否完成任务,都可以形成状态转移数据。设计工具里的编辑历史、浏览器里的 DOM 变化、IDE 里的 diff、数据看板里的筛选路径,都是世界模型的燃料。

真正稀缺的不是屏幕截图,而是“意图、动作、结果、修正”的配对。企业今天如果只保存最终文档和最终报告,未来很难训练自己的界面 agent。如果能保存操作轨迹和人工修正,价值会完全不同。

Solaris 对创意工作流的启发

Solaris 这类发布的意义,不应只用“生成视频更好看”衡量。对开发者和工具厂商来说,更值得关注的是它是否推动三种能力成熟。

第一是对象持久性。用户希望指定一个角色、一件衣服、一个产品外观,然后在多个镜头里保持稳定。第二是时间可控性。用户希望动作有因果顺序,而不是每秒都像重新抽样。第三是编辑局部性。用户说“只改背景灯光”,模型不应该顺手改掉人物脸型。

这三种能力和界面世界模型高度相似。对象持久性对应 UI 里的实体状态,时间可控性对应操作序列,编辑局部性对应局部状态变更。创意 AI 和企业 agent 可能会共享同一类底层抽象:状态、动作、约束、结果。

浏览器 agent 的下一层

今天很多浏览器 agent 仍然是截图加 DOM 加 LLM。它们能完成演示任务,但在真实网页上容易失败。原因不是模型不会读中文或英文,而是模型不知道页面状态的因果结构。

比如一个报销系统里,“保存草稿”“提交审批”“撤回申请”三个按钮都可能在同一区域。只看文字,模型知道它们是什么意思;但是否能点,取决于当前状态、用户权限、表单完整度和业务阶段。界面世界模型应该把这些因素统一起来。

未来的浏览器 agent 可能会采用这样的架构:

screen encoder
  -> state graph builder
  -> action proposal model
  -> transition predictor
  -> policy gate
  -> browser executor

状态图负责识别页面实体和关系,动作模型提出候选,转移预测器判断后果,策略闸门处理高风险操作。LLM 不再单独承担所有责任,而是成为这个系统中的语言和规划组件。

企业自动化会怎样变化

企业软件的自动化过去依赖 API。API 稳定、可测、权限清楚,所以工程上更可靠。但现实是,很多企业流程没有干净 API,或者 API 覆盖不了全部人工操作。RPA 曾经试图解决这个问题,但传统 RPA 对界面变化非常脆弱。

多模态 agent 的机会在于:它可以像人一样理解界面,又可以像软件一样执行流程。界面世界模型则决定它能否稳定工作。没有世界模型的 agent 只是更聪明的脚本;有世界模型的 agent 才可能在按钮变化、弹窗插入、字段缺失时做出合理调整。

不过企业不能因此跳过治理。界面 agent 能操作的系统往往很关键:财务、客户、招聘、供应链、权限管理。世界模型提升成功率,也会提升错误操作的规模。因此审计、权限和回退必须和能力一起建设。

开发者应该记录什么

如果你在做设计工具、浏览器 agent 或内部自动化,现在最应该补的不是又一个 prompt 模板,而是轨迹数据结构。一个有价值的事件日志至少包括:

{
  "task_id": "expense-approval-2026-09-04",
  "intent": "submit monthly travel expense",
  "screen_summary": "expense form with missing receipt warning",
  "available_actions": ["upload receipt", "save draft", "submit"],
  "chosen_action": "upload receipt",
  "next_screen_summary": "receipt attached and submit button enabled",
  "human_correction": null
}

这些日志可以先服务于调试,再服务于 eval,最后服务于训练。越早记录,越早形成自己的垂直世界模型资产。

最大风险:漂亮但不可控

多模态模型最容易制造一种错觉:输出越像真实世界,系统就越懂真实世界。创意 AI 里,这会表现为画面很漂亮但不听精细控制。界面 agent 里,这会表现为操作看似自然但缺少边界。企业系统里,这会表现为 demo 很顺,异常流一来就失控。

所以评估 Solaris 这类模型时,不要只看样片。要看它能否在约束下稳定编辑,能否保持对象身份,能否响应局部修改,能否输出可供工具链使用的中间表示。对界面 agent,则要看它能否解释状态、预测转移、识别不可逆操作,并在不确定时停止。

结论

Solaris 之后,多模态 AI 的关键词不应只是“生成”,而应是“可操作世界”。对开发者来说,界面世界模型是最接近落地的方向。它连接创意工具、浏览器自动化、企业 RPA、IDE agent 和游戏编辑器,也连接了视觉、语言、状态和动作。

真正的竞争会从模型展示页转移到工作流深处:谁能记录更好的操作轨迹,谁能把状态变化建模得更稳,谁能把高风险动作放进可审计策略,谁就更可能把多模态 agent 带进生产。

Frequently asked questions

Solaris 和普通视频生成模型有什么区别?
从开发者视角看,关键不只是画质,而是模型是否能处理时间、镜头、对象一致性和交互意图。它代表多模态模型继续向世界建模方向移动。
什么是界面世界模型?
它是理解屏幕、控件、状态变化和操作后果的模型能力。模型不仅识别按钮文字,还要知道点击、拖拽、输入后界面可能如何变化。
这和浏览器 agent 有什么关系?
浏览器 agent 本质上在操作界面。如果模型能更好理解界面状态和时间变化,就能减少误点、误提交和在错误页面继续操作的情况。
创意 AI 为什么也需要世界模型?
视频、3D 和设计工具都涉及对象持久性、镜头连续性和编辑意图。没有世界模型,生成结果容易漂亮但不可控,很难进入专业生产流程。
企业应该现在投入吗?
应该先投入数据记录和任务分解,而不是盲目替换工具。把操作轨迹、界面状态和人工修正记录下来,未来才能利用更强的多模态模型。
// next.txt ›

Some outbound links in this post are affiliate links — see disclosure.