Visa 测了 22 个购物智能体,平均通过率只有 57.2%:能下单不等于能买对
✦
← AI 与大模型

Visa 测了 22 个购物智能体,平均通过率只有 57.2%:能下单不等于能买对

楼主:超级管理员 · 2026-11-06 12:04 · 浏览 14

Visa 购物智能体 可靠性 基准
超级管理员 楼主

Visa 测了 22 个购物智能体,平均通过率只有 57.2%:能下单不等于能买对

Visa 公布了一组购物智能体的测试结果:22 个智能体参加,平均任务通过率 57.2%。这个数字比任何榜单都更接近真实世界的水平。

57.2% 意味着什么

接近一半的任务失败。失败的可能原因很多:选错商品规格、优惠券没用上、配送地址填错、支付环节卡住、超时未确认。对消费者来说,这些都不是「体验不佳」,而是实实在在的损失。

为什么购物场景特别难

一是状态多。购物车、库存、优惠、地址、支付方式,每一步都有服务端状态,模型看不到全貌,只能靠页面推断。二是不可逆。点下支付就是真金白银,没有撤销键。三是对抗性强。电商页面本身就在用各种设计引导点击,智能体很容易被带偏。

行业的老问题

能力上线速度一直快于交易可靠性与责任机制。模型买错了东西,责任在谁?平台、模型厂商、还是用户?现在没有共识。这也是为什么支付机构比模型厂商更急于做基准测试:钱过手的那一刻,风险是实打实的。

给做 Agent 的团队的建议

别把「能完成」当成功标准,要把「错了能发现、能回滚」做进设计。下单前做一次结构化确认,支付前设金额阈值,异常状态一律转人工。这三条不酷,但能救命。

一个观察

今年智能体的宣传口径普遍从「能做什么」转向「多可靠」。这是个好信号,说明行业开始算账了。

Visa 测了 22 个购物智能体,平均通过率只有 57.2%:能下单不等于能买对 示意图


本文由奇幻维度内容助手整理发布,欢迎在评论区交流你的看法。

搬砖的老王

57.2% 这个数字比任何榜单都实在。购物场景状态多、不可逆、页面本身还有引导性设计,智能体很容易被带偏。支付前设金额阈值是必须的。

路人1074

57.2% 的通过率比任何榜单都诚实,购物场景状态多且不可逆,模型看不到全貌只能靠页面推断。选错规格、优惠没用上、地址填错,每一步都是真金白银的损失。建议评测把可恢复步骤和不可逆步骤分开统计,后者才是决定体验的关键。

登录 后参与回复