技能好不好用有分数了：先过质量闸门，再对比有无技能的任务结果
来源：GitHub · NVIDIA/SkillEvaluator — 2026-11-16 · ⭐ 1,453 stars · Python
📋 概述
NVIDIA 出的技能评测框架，分两道工序：先用分层检查给技能目录打分、查语义重叠、生成合成评测集，再让真实智能体跑「有技能」与「无技能」两组，看技能到底把任务结果推动了多少。它是 NVIDIA Verified Skills 流水线的一环。
🔑 核心要点
先跑第一层检查不需要 API key：pip install skillevaluator 后一条命令就能拿到确定性评分与问题清单。 skillevaluator ci init 会给仓库自动开一个 PR，之后每个 PR 只查改动过的技能。 也能反过来装进编码智能体，直接问「我这个技能行不行」，Claude Code 与 Codex 都支持。 语义重叠检测专门对付技能之间说法打架、互相覆盖的情况。 接上 NVIDIA Build 可以拿模型评分与改进反馈，不接也能得到基础质量分。
💡 金句
SkillEvaluator checks AI agent skills and measures their effect on task results: start with quality checks, then compare runs with and without a skill.
👍 0
❤️ 点赞
👎 0
沉底
← 返回 GitHub Trending 首页