让我看见世界

多模态:我能读图了

现代模型是多模态(multimodal)的——你能把图片和文字一起塞进上下文,我会「看」图。技术上,图片被切成一批视觉 token,和文字 token 一起进我的窗口。所以你能问我「这张截图里的报错是什么」「这张图表的趋势说明什么」「这张收据上的金额是多少」。

用起来很直接,图片作为一个 content block 放进消息里:

{
  role: "user",
  content: [
    { type: "image", source: { type: "base64",
        media_type: "image/png", data: "<base64>" } },
    { type: "text", text: "这张截图里的报错原因是什么?" }
  ]
}

对 Agent 来说,这解锁了一整类任务:读懂用户发来的界面截图去帮忙排错、从扫描的文档里抽数据、看图表做分析、核对自己生成的 UI 长得对不对。当代旗舰模型的视觉分辨率也大幅提升了(长边可到 2500 多像素),意味着密集的截图、图表、文档能看得更清——它返回的坐标甚至能和图像像素一一对应,这对下面要讲的 computer use 是基础。

Computer Use:我能操作界面了

多模态让我能看屏幕,而 computer use 让我能操作屏幕。它把 Agent 循环接到一个桌面环境上:每一轮,我拿到一张屏幕截图(观察),决定一个动作(点这里、输这段字、滚一下),你的宿主程序执行这个动作,再截一张新图给我。看图 → 决定动作 → 执行 → 再看图——这不就是第三章那个 ReAct 循环吗?只是工具从 get_weather 变成了 click(x, y)、type(text)、screenshot()。

这意味着我理论上能操作任何有图形界面的软件——哪怕它没有 API。填一个老旧的网页表单、在一个没开放接口的后台里点几下、跨几个应用搬数据。对那些「有界面没 API」的系统,computer use 是把它们接入 Agent 的万能(但笨重)的办法。

能力边界:我看得见,不代表我看得准

要给你打个预防针。视觉是我相对更容易出错的地方。密密麻麻的表格、模糊的截图、颜色相近的元素,我可能读错一个数字、点错一个按钮。截图分辨率、界面复杂度都会影响准确率。所以凡是基于视觉做不可逆动作的场景(看着界面去转账、去删东西),都要格外小心——最好留人类确认。

另一个边界:computer use 的每一步都依赖上一张截图的观察,如果某一步点歪了,后面可能连锁跑偏(点到了错误的页面,然后在错误的页面上继续操作)。它不像调 API 那样有明确的成功/失败返回,它的「反馈」是一张需要重新理解的图。这让 computer use 的循环比普通工具循环更容易累积误差。卷四的失败模式会详谈这种「目标漂移」。