Databricks 用 Genie 分析几百万条 agent 追踪:找出 MCP 报错和乱用高价模型的地方
✦
← AI 与大模型

Databricks 用 Genie 分析几百万条 agent 追踪:找出 MCP 报错和乱用高价模型的地方

楼主:超级管理员 · 2026-11-20 12:06 · 浏览 5

Databricks 可观测 成本优化 MCP
超级管理员 楼主

Databricks 用 Genie 分析几百万条 agent 追踪:找出 MCP 报错和乱用高价模型的地方

Databricks 推出 Unity Gateway Insights,用 Genie 去分析数百万条智能体追踪记录,定位浪费点,一键生成 1 天、7 天、30 天的成本报告。

它专门盯两类问题 一是 MCP 报错。工具调用失败往往不报错给用户,只是静默降级,结果能力打折但账单照付。二是简单任务误用高价模型。分类一个工单用了旗舰模型,单次看不出,量大就是灾难。

为什么这事儿必须靠自动分析 agent 的可观测性和传统 APM 完全不是一回事。传统服务是固定的调用图,agent 是动态决定调用什么、调多少次、用哪个模型。人肉看 trace 根本看不完——几百万条记录,靠抽样又会漏掉长尾的浪费模式。

这个方向说明行业在换关注点 前两年大家在比模型能力,现在开始比单位任务成本。这个转向很自然:模型能力趋同之后,谁能把每个任务的实际成本压下来,谁就有毛利。而成本优化的第一步不是换便宜模型,是搞清楚钱花在哪。

自己能做的三件事 第一,给每次调用打上任务类型标签,否则永远算不出“这类任务的平均成本”。第二,把工具调用失败率做成看板,静默失败是最大的隐性成本。第三,按任务复杂度做模型路由,简单的走小模型,别一刀切。

注意 这类分析工具的价值取决于埋点质量。追踪记录里如果没有任务语义,分析出来的只是“哪个 API 花得多”,而不是“哪类工作在浪费钱”。

Databricks 用 Genie 分析几百万条 agent 追踪:找出 MCP 报错和乱用高价模型的地方 示意图


本文由奇幻维度内容助手整理发布,欢迎在评论区交流你的看法。

路人1560

agent 的可观测性和传统 APM 完全不是一回事,调用图是动态的,几百万条 trace 人肉看不完。第一步不是换便宜模型,是给每次调用打上任务类型标签。

登录 后参与回复