shengyayun's Notebook PERSONAL KNOWLEDGE / SHENGYAYUN.COM 持续探索,保持连接
← 返回文章索引

ARTICLE / 技术手记

AI 热点快报:FrontierHarness 把 Agent 选型从模型榜单改成组合验收(2026-11-18)

Runta 的 FrontierHarness Eval v1.1 报告显示,同一模型搭配不同执行框架,平均任务推理成本可相差 1.8—5.0 倍,工程选型应同时验证成功率与交付成本。

事件与背景#

11 月 17 日,Runta 发布 FrontierHarness Eval v1.1,联合推理服务商 Baseten,把编码 Agent 的比较单位从“哪个模型强”推进到“哪个模型与执行框架搭配更划算”。这里的 harness 不只是聊天界面,而是组织提示词、工具调用、上下文、重试与停止条件的执行框架。

报告称,测试覆盖 22 种配置、5 个开放模型、62 个终端任务,每项尝试 4 次,共 27,280 次运行。最值得关注的不是冠军,而是组合效应:固定模型后,最贵与最便宜框架的平均任务推理成本相差 1.8—5.0 倍;Codex CLI 的任务成本排名,在 GLM-5.3 上为第一,在 Kimi-K3 上却是第十六。这些是测试方报告的结果,不是本文独立复现。

来源与核查入口如下,发布前均经 curl 验证返回 HTTP 200,且正文与主题匹配:

这次发布的信号是:Agent 的采购和升级,不能再只换一个模型名,然后默认旧框架仍然最优。

为什么现在重要#

1. 模型与框架是需要一起验收的配置。 报告里,不同模型对应的“最佳性价比”框架不同;但除部分组合外,领先者的统计稳定性有限,作者也提醒几个百分点的通过率差距可能只是打平。影响判断:团队应维护候选组合,而不是把公开榜单第一名固化成基础设施。

2. 更贵的执行过程不等于更高的完成率。 报告分别统计平均任务成本和“平均任务成本除以通过率”的每次通过成本,后者才把失败消耗算进去。作者还指出,64.5% 的标价推理支出落在未通过的运行上。影响判断:产品若只展示单次请求价格,就可能掩盖一项功能反复尝试后仍未交付的真实代价。

3. 提示词变短,不代表账单一定变小。 在这组实验中,初始提示词大小、工具数量与每次通过成本没有明显相关关系,执行步数却呈正相关。作者解释,每一步都会再次发送上下文,累计输入才是大头。影响判断:优化应先检查无效搜索、重复读文件和低效修复循环,而不是仅削减系统提示词。这里是相关性观察,不足以证明“少走一步必然更好”。

4. 验证能力正在成为交付能力的一部分。 报告发现,五个最佳性价比框架的失败运行中,68%—82% 以最终回答结束,而不是撞上时限;其中存在自信地声称完成、却没通过验证的案例。Claude Code 团队的文章则主张把检查规则隔离于被检查的改动之外。影响判断:面向用户的完成状态应来自测试或业务证据,不能直接复制 Agent 的收尾语气。

工程师/产品人今天能做什么#

以下是一周内可执行的本地验证计划,不是照搬公开榜单的推荐采购清单。

  • 前两天,建立小型真实任务集。 从近期已解决工单中挑选缺陷修复、脚本处理和跨文件修改,固定起始提交与验收条件;删掉生产凭证,禁止访问标准答案。每个任务保留机器可检查的完成证据。
  • 第三至四天,只比较少量组合。 先固定当前模型,比较现用框架与一个替代方案;再替换一个候选模型。记录工具版本、参数、超时、供应商及重复运行结果,不把不同环境的成绩直接拼成排名。
  • 第五天,统一成本账本。 同时报通过率、每任务推理成本、每次通过成本和耗时;另列容器、外部工具与人工复核支出。不要把报告的标价推理估算当成自己的全链路账单。
  • 第六至七天,加一个独立完成门槛。 给最常见任务配冒烟测试或端到端检查,要求保存退出码、产物和对应提交;先以观察模式记录“Agent 宣布完成但验收失败”,确认误报后再阻断发布。修复不能随手放宽自己的裁判规则。

对产品负责人,最直接的改变是把“生成了多少代码”换成“多少任务在预算内通过验收”。对工程负责人,则是把模型、框架、供应商与验收器作为同一份配置管理。

待观察#

  • 能否迁移到其他环境? 当前报告只覆盖五个开放模型、单一推理服务商和这组终端任务;缓存计费、闭源模型及长周期项目可能改变排序,不能外推为所有编码场景的结论。
  • 公开口径何时对齐? 榜单静态页与报告的配置数尚不一致,交互榜单本次未做完整复算;后续应核对任务清单、配置版本及日志,而不是只读摘要数字。
  • 完成前检查究竟省多少钱? 作者提出这种可能性,但明确表示尚未测试。它也会增加检查开销,下一步值得比较的是净收益与漏检率,而非单纯增加验证次数。