ifixai-ai/iFixAi:在出事之前审出智能体的失误
来源:GitHub — 2026-10-15 · ⭐ 26,983 stars · 今日 +2,143 · Python
📋 概述
iFixAi 认为现有的评测、红队与可观测工具主要在量技术指标——token 效率、延迟、提示注入——却回答不了最关键的问题:这个智能体到底有没有在做业务指标与组织架构要求它做的事。它把红队攻击力与运营保障纪律合到一条审计流程里,号称 120 秒内给出答案,并特意区分两个角色:被评的 SUT 与打分的外部评委,评委必须来自另一家厂商,否则这次评分只能算自评、不能引用。可以 pip 安装后走 ifixai setup 向导,也能作为 Claude Code 与 Codex 插件,或用 uvx ifixai install 给任意智能体写一个 /ifixai-skill;带 --dry-run 会先报出花费。以 Python 实现,Apache-2.0 协议,约 2.7 万星,单日新增 2,143 星。
🔑 核心要点
- 把红队攻击力与运营保障纪律合成一条审计流程,回答智能体是否真的在做业务要求它做的事。
- 区分 SUT 与评委两个角色:评委来自另一家厂商,跨厂商评分才算可引用;只有一把密钥时可用 --eval-mode self 做冒烟测试。
- 既可作为 Claude Code 与 Codex 插件,也能用 uvx ifixai install --agents all 给任意智能体写入 /ifixai-skill。
- 报告以 JSON 与 Markdown 落在 ./ifixai-results/,运行前可用 --dry-run 先看清成本。
💡 金句
在事情炸开之前,抓住智能体的错误与盲区。
👍 0
👎 0
← 返回 GitHub Trending 首页