📌 google-agents-cli-eval 是什么？

Agent 好不好用，不能靠感觉。google-agents-cli-eval 是官方技能，让 AI 帮你评估 Agent 的输出质量。

它建评测集、打分、做回归测试，让 Agent 质量可衡量——改之前有基线，改之后有对比，退化能及时发现。

🧩 核心功能

评测集：构建评测用例。

质量打分：评估输出的准确性、相关性。

回归测试：改动后跑评测防退化。

👍 优点

质量可量化：不再靠感觉。

防退化：改动能及时发现。

可复用：评测集沉淀。

⚠️ 不足与局限

评测集建设有成本。

评测标准要设计。

评测本身也需维护。

🙋 适合谁用

AI 应用开发者：评估 Agent。

团队：保证 Agent 质量。

🛠️ 第一次安装

前提：电脑装了 Node.js（18+），有支持 Skill 的 AI 工具（如 Claude Code）。打开终端执行：

bash
npx skills add google/agents-cli --skill google-agents-cli-eval

CLI 会自动检测你装的 AI 助手，确认安装位置后即可使用。

✍️ 上手：几个真实例子

场景一：建评测

提示词
帮我建一组评测用例，评估这个客服 Agent 的回答质量。

场景二：跑回归

提示词
帮我在改动后跑一遍评测，看有没有退化。

🎯 典型应用场景

质量评估：评估 Agent 输出。

回归测试：防退化。

评测集建设：沉淀用例。

⚖️ 和类似方案对比

和"上线后靠用户反馈"相比，eval 的价值是"提前把关"——上线前用评测集跑一遍，就能知道 Agent 在典型场景下表现如何，改动了会不会退步。这是让 Agent 质量稳定的关键手段。

💡 常见问题 FAQ

问：评测集怎么建？
从真实问题出发，覆盖典型和边界场景。

问：怎么打分？
准确性、相关性、完整性等维度，可让 AI 打分。

问：多久跑一次？
每次大改都跑，日常可定期跑。

问：评测会偏吗？
会，评测集本身要不断补充和校准。

🤖 适合哪些 AI 工具

Google 官方 Skill，Claude Code、Cursor、Codex 等支持 Skill 的工具都能装。

💡 上手建议

先把需求说清楚：用的时候，把"你想做什么、约束是什么、期望的输出是什么"讲清楚，AI 的输出会明显更贴合预期。模糊的需求，往往只能得到模糊的结果。

小步迭代，别一步到位：先跑通一个最小可用的版本，再逐步完善细节。一次想要太多，反而容易在中间卡住、来回返工。

善用示例：如果你有参考样例，直接给 AI 看，比纯文字描述更直观，产出的结果也更接近你想要的样子。

遇到问题把现象说全：报错、日志、复现步骤，给得越全，AI 定位和解决得越快。

🔍 常见误区

一是"以为装上就自动生效"——大多数技能需要你在对话里主动触发或描述需求，而不是装完就万事大吉；二是"一次塞太多需求"——把大任务拆小、逐个解决更高效；三是"结果不对就全盘否定"——多数情况微调一两次就能到位，不必从头再来。