上周有人在 Hacker News 上吐槽:浏览器代理的演示,总是在同样三个预先准备好的网站上跑。我觉得这确实说中了这类工具评测的问题。于是,我们让 dassi 跑了一遍浙江大学 He 等人提出的完整 WebVoyager 基准测试:15 个真实网站、643 个任务,使用真正的 Chrome,没有模拟页面,也没有沙盒。

在返回明确答案的任务中,答案准确率为 93.2%。

先简单说说这个基准测试

WebVoyager 会把代理带到真实网站,让它完成平时人们会做的事:在 Amazon 上购物、从 ArXiv 提取论文摘要、查看 BBC News 的新闻标题、在 Cambridge Dictionary 查词、向 Wolfram Alpha 提问。任务有些只是二十秒就能完成的简单查询,有些则是多步调研:代理要操作筛选器、排序结果、对比商品,还要从 Amazon 那些每周都在调整布局的页面中整理信息,仿佛没有哪个布局能让他们满意。

上周大部分时间,我都在终端里看这些任务运行,有种奇怪的入迷感。像是在看别人玩游戏,只不过玩家是大语言模型,而游戏的名字叫“找出 Allrecipes 这次把食谱链接藏在哪里了”。

93.2%

多数失败并不是真的答错了。代理可能返回了截断的商品名称,或者任务要求给出链接,它却给了三个食谱名称。问题出在代理找到的信息格式,与评测正则表达式要求的格式不一致。信息其实就在输出里,但夹杂了太多额外内容,评分程序无法准确提取。

第一批测试后,我们收紧了提取规则,情况有所改善。但“代理知道答案”与“代理按机器评分器接受的精确格式表达答案”之间,仍然有距离。我怀疑,每个跑这类基准测试的团队都在默默处理这个问题。

有些任务触发了三分钟超时。ArXiv 最容易出现这种情况:论文页面信息密集,导航层级很深,代理有时会钻进 LaTeX 摘要的细节,而它本来只需要拿到标题然后继续。

为什么真实网站上的测试更难

每家 AI 公司都会发布基准测试数字,但多数数字来自整理过的静态数据集,正确答案早在几个月前就已经固定。浏览器基准测试则不同:上周二的 Amazon 畅销榜,不是今天的榜单;BBC News 每小时都在换标题;ArXiv 每天都有数百篇新投稿。

还有 Cookie 同意弹窗。我没想到它们会成为一个明显的失败来源,这让我对今天的互联网有种既好笑又无奈的感觉。页面布局变化、同一个 IP 访问过多而触发的验证码、插入商品列表的赞助结果,这些情况都没有被模拟或移除。代理必须应对那个周二下午网站实际呈现的一切。

速度,以及接下来要做什么

有些复杂任务的耗时比我们希望的更长,尤其是需要连续访问多个页面的多步任务。我们正在测试一套新的导航架构,看起来有望明显降低延迟。但在完整的 643 个任务跑完之前,我不想提前给出数字。

评测运行框架用 Puppeteer 驱动真实的 Chrome,支持无头模式和有界面模式,也能在中断后继续运行而不丢失进度。每次主要架构变更,我们都会在 CI 中运行它。

欢迎拿你的任务来试

如果你想把自己的任务交给 dassi,可以从 Chrome 应用商店安装,填入你自己的 Claude、GPT、Gemini 或其他模型的 API key。如果你找到一个让它失败的工作流程,我其实更想听到这个,而不是它又成功了。那些边缘情况,正是我们提升下一个五个百分点的地方。