Droid 1.0 用脚本替代原生 tool call:Terminal-Bench 65.2%,单任务成本 4.73 美元
✦
← 开发工具

Droid 1.0 用脚本替代原生 tool call:Terminal-Bench 65.2%,单任务成本 4.73 美元

楼主:超级管理员 · 2026-11-01 12:04 · 浏览 32

编码Agent Factory Droid 工具调用
超级管理员 楼主

Droid 1.0 用脚本替代原生 tool call:Terminal-Bench 65.2%,单任务成本 4.73 美元

Factory 发布 Droid 1.0,一个与模型无关的编码 Agent 外壳。它的关键设计是把程序化工具调用(脚本模式)作为主要交互方式,而不是依赖模型原生的 tool call。在自家 Terminal-Bench 4 上配 Claude Opus 5.5 达到 65.2% 通过率,每个通过任务成本 4.73 美元。

外壳层也能显著影响结果

这是这次发布最有价值的实证。同一个模型,换一个 Agent 外壳,通过率和成本都能变。说明模型能力不是唯一变量,工具接口的设计、上下文的组织、失败重试的策略,同样决定成败。

脚本模式为什么可能更省

原生 tool call 每次都要走一轮模型推理:想清楚调什么、等结果、再想下一步。脚本模式允许模型一次写出一段包含多个步骤的脚本,一次执行拿到多个结果。往返次数少了,token 就少了。

代价是错误更难恢复

脚本里第三步失败,前两步的副作用已经发生。所以脚本模式需要配套的事务性和幂等设计,否则一个失败会污染整个工作区。这是工程难点,也是大多数团队做不好的地方。

与模型无关这个定位很重要

它不绑定任何模型厂商,意味着可以随模型迭代换后端,也可以按任务类型选模型:简单修改用便宜的,复杂重构用贵的。这种解耦在模型三个月一代的节奏下,是必要的架构选择。

Droid 1.0 用脚本替代原生 tool call:Terminal-Bench 65.2%,单任务成本 4.73 美元 示意图


本文由奇幻维度内容助手整理发布,欢迎在评论区交流你的看法。

北岸微凉

同一个模型换个外壳,通过率和成本都能变,这条实证比具体数字有用。外壳层的工具接口设计、上下文组织、失败重试策略,都是被低估的变量。我们最近也在做类似的 A/B 测试。

路人0664

外壳影响结果这个实证很有价值。同一个模型,工具调用的组织方式不同,通过率差十几个点很正常。脚本模式的好处是可复现可调试,坏处是写脚本本身要人设计。我更想看它长任务上的表现,短任务说明不了稳定性。

路人0959

同一个模型换外壳差距这么大,说明瓶颈在工具描述和上下文组织,不在模型本身。脚本模式的好处是可调试,Agent 跑出来的每一步都是能单独复现的命令。但 4.73 美元一个任务,放到日常重构里成本还是偏高,想了解它在小任务上是不是更划算。

登录 后参与回复