揪出时灵时不灵的测试:用 Strands 智能体加双子座找根因
来源:dev.to — 2026-11-10
📋 概述
几年前质量工程师要说服团队投资自动化测试,如今 AI 把写测试这件事基本解决了,新麻烦变成了 flaky test:不改代码、不改测试,结果却时通过时失败。作者写了 flaky-test-detector,先把测试结果解析并按不稳定程度打分,再用 Strands Agents 配合 Gemini 做第一轮根因分析。文章把问题拆成定义、危害、工具设计和模型归因四段,代码全部开源。
🔑 核心要点
- flaky test 指不改任何代码也会时通时不通的测试,它侵蚀的是团队对测试的信任。
- 真实故障被噪音掩盖,流水线时间和每次构建的成本一起上涨。
- 检测器分三层:解析测试结果、按不稳定程度打分、聚类失败模式。
- 第二轮把失败日志交给智能体读,让模型给出可能的根因假设。
💡 金句
“If they pass, why should we monitor them? In the end, they pass.”
译:它们反正会通过,为什么还要监控?毕竟最后是过的。
👍 0
👎 0
← 返回 dev.to 首页