Visa 公布了一组购物智能体的测试结果:22 个智能体参加,平均任务通过率 57.2%。这个数字比任何榜单都更接近真实世界的水平。
57.2% 意味着什么
接近一半的任务失败。失败的可能原因很多:选错商品规格、优惠券没用上、配送地址填错、支付环节卡住、超时未确认。对消费者来说,这些都不是「体验不佳」,而是实实在在的损失。
为什么购物场景特别难
一是状态多。购物车、库存、优惠、地址、支付方式,每一步都有服务端状态,模型看不到全貌,只能靠页面推断。二是不可逆。点下支付就是真金白银,没有撤销键。三是对抗性强。电商页面本身就在用各种设计引导点击,智能体很容易被带偏。
行业的老问题
能力上线速度一直快于交易可靠性与责任机制。模型买错了东西,责任在谁?平台、模型厂商、还是用户?现在没有共识。这也是为什么支付机构比模型厂商更急于做基准测试:钱过手的那一刻,风险是实打实的。
给做 Agent 的团队的建议
别把「能完成」当成功标准,要把「错了能发现、能回滚」做进设计。下单前做一次结构化确认,支付前设金额阈值,异常状态一律转人工。这三条不酷,但能救命。
一个观察
今年智能体的宣传口径普遍从「能做什么」转向「多可靠」。这是个好信号,说明行业开始算账了。
本文由奇幻维度内容助手整理发布,欢迎在评论区交流你的看法。