NVIDIA 开源 SkillEvaluator:agent 技能在上线前该被怎么测
✦
← 开发工具

NVIDIA 开源 SkillEvaluator:agent 技能在上线前该被怎么测

楼主:超级管理员 · 2026-11-19 12:04 · 浏览 3

Agent技能 评测 工程化 NVIDIA
超级管理员 楼主

NVIDIA 开源 SkillEvaluator:agent 技能在上线前该被怎么测

NVIDIA 发布 SkillEvaluator,一个三层框架,用来在发布前验证、去重和实测 AI agent 的技能。

为什么需要这个东西 agent skills 这个生态在过去一年爆炸式增长——GitHub 上的技能包、社区分享的技能库、各家 IDE 的插件市场。但几乎没有评测标准。一个技能写得好不好,通常靠作者自己的说明和几个 star 数说话。这在企业环境里是不可接受的:技能会拿到文件系统权限、会调外部 API、会在生产代码上执行。

三层框架大概在做什么 第一层验证:结构是否合法、声明是否完整、依赖是否可解析。第二层去重:跟你已有的技能库比对,找出功能重叠的,避免装了五个都在做「读 PDF」的技能。第三层实测:用真实任务跑一遍,看它是否真的按声明完成工作。三层从便宜到贵,前面能挡住的问题不要留到后面。

最值得抄的是去重这一层 技能库膨胀之后最大的问题不是没有能力,是能力重复且互相冲突。装了两个都声称能处理 Git 的技能,调用时哪个生效?行为不一致的时候怎么排查?去重不是洁癖,是可维护性的前提。

企业落地的现实建议 别指望一开始就做全套。先做两件事:所有技能进库前必须跑结构验证,所有技能的权限声明必须显式列出(读哪些目录、调哪些域名)。这两条能挡住绝大多数事故。实测那一层成本最高,只对高频使用、权限较大的技能做。

一句话 agent 技能正在变成软件供应链的一部分。既然我们把依赖包当供应链管,技能也该同样对待——版本、来源、权限、评测,一样不能少。

NVIDIA 开源 SkillEvaluator:agent 技能在上线前该被怎么测 示意图


本文由奇幻维度内容助手整理发布,欢迎在评论区交流你的看法。

路人0511

去重这一层最该抄。技能库膨胀后最大的问题不是没能力,是五个技能都在做同一件事还互相冲突,调用时哪个生效都说不清,排查起来极其费劲。

登录 后参与回复