博客
浏览器 AI 代理的基准测试、实测结果与方法说明。
-
Qwen3.8 27B 在 Browser Use 框架中得 17.8 分,在 dassi 中得 49.7 分:BU Bench V2 评测
dassi 搭配开放权重模型 Qwen3.8 27B,在 BU Bench V2 公开 55 任务子集上得分 49.7,在 Odysseys 抽样的 40 个任务中完整完成 27 个。但速度较慢:每个任务约 44 分钟,40% 的 BU Bench 任务触发了 60 分钟时限。
-
dassi 搭配 Gemini 3.8 Flash 在 BU Bench V2 上得了 57 分,却被费用仅为十二分之一的模型超过
相同代理、相同的 55 个 BU Bench V2 任务、相同评判模型:Gemini 3.8 Flash 得分 56.9,每个任务 $1.01;DeepSeek V4.1 Flash 得分 79.0,费用 $0.08。本文更正了之前错误的 Gemini 成绩。
-
用官方评分器评测:dassi 搭配 Flash 模型在 Odysseys 上取得 85%
使用 Odysseys 作者的评分代码和评判模型,dassi 搭配 Gemini 3.8 Flash 完整完成了 200 个长流程网页任务中的 170 个。最初的 91.5% 来自我们自己的评判模型,这里解释两者的差别。
-
我们跑了 643 个真实浏览器任务,93% 的明确答案是正确的
Dassi 在 WebVoyager 基准测试中,对给出明确答案的任务取得了 93.2% 的答案准确率。测试覆盖 15 个真实网站的 643 个任务,没有模拟页面或沙盒。