基于阿里云 AgentLoop 的 Skill 评估与优化最佳实践
在 AI Agent 应用中，Skill（技能）是赋予 Agent 特定领域能力的关键资产。然而，一个 Skill 从编写到发布，如何确保它在真实场景中表现良好？如何量化它的质量？如何系统性地持续优化？
这套流程的核心理念是：用可观测数据感知现状，用离线实验量化质量，用 Bad Case 驱动优化，用评分趋势验证效果。
Skill 的创建与管理
Skill 本质上是一组结构化的指令和约束，用于指导 Agent 在特定领域（如 CMS 运维、代码审查、工单处理等）中执行任务。
一个典型的 Skill 包含以下要素：
- Prompt 指令：定义 Agent 的操作流程、步骤和约束；
- 工具调用规范：指定 Agent 应调用的 CLI 命令或 API；
- 输出约束：规定输出的格式、禁止出现的内容等；
- 安全边界：明确哪些操作是被禁止的、哪些信息不应暴露。
可观测接入
Skill 投入使用后，AgentLoop 的可观测能力会自动采集 Skill 的执行数据。通过 Skill 大盘，开发者可以实时掌握：
观测维度：
- 加载次数
- 调用次数
- 使用用户数量
- 版本信息
构建评估数据集
评估数据集（Dataset）是离线实验的基础。每个测试用例（Case）由以下几部分构成：
# 一个典型的评估用例
case:
name: "查询 Prometheus 监控数据"
prompt: "帮我查看当前工作空间下 Prometheus 的监控数据"
# 期望的行为：Agent 应该执行的命令
expected_behaviors:
- "arms-prometheus query"
- "kubectl get pods"
# 期望的输出：Agent 响应中应包含的内容
expected_outputs:
- "监控数据查询成功"
- "工作空间信息"
# 禁止出现：Agent 响应中不应包含的内容
forbidden_outputs:
- "AccessKey"
- "SecretKey"
- "内部 IP 地址"
数据集的设计原则
- 覆盖真实业务场景：数据集应来源于真实的业务需求，涵盖 Skill 要处理的核心操作场景
- 正反例兼顾：既要包含期望行为的正例，也要包含禁止行为的反例，确保评估的全面性；
- 可验证性：每个用例的期望结果应该是明确可验证的，便于自动化评估器进行判定。
离线实验
AgentLoop 提供了完整的离线实验能力。开发者发起一次实验后，系统会自动完成以下工作：
- 环境准备：拉起指定的 Agent 框架（如 Codex、Claude Code 等）和对应的模型；
- 用例执行：逐个执行数据集中的测试用例，记录完整的输入输出；
- 对比实验：同时运行“有 Skill”和“无 Skill”两组对照实验，量化 Skill 的增量价值；
- 多模型覆盖：支持在多个 Agent 框架和模型组合下运行同一组用例，评估 Skill 的普适性。
每次离线实验完成后，系统会从多个维度自动评分：
- 正确性
- 安全性
- 工具调用合理性
- 静态检查
Bad Case 分析与优化
离线实验的一个核心价值是帮助开发者快速定位问题。通过实验报告的筛选功能，可以按评分从低到高排序，快速找出表现不佳的 Case：
- 按维度筛选：例如筛选“安全性 < 0.5”的 Case，集中解决安全问题；
- 按评分阈值筛选：找出所有综合得分低于阈值的 Case；
- 通过 CLI/API 批量获取：AgentLoop 提供了 CLI 接口，可以程序化地查询实验结果，自动提取 Bad Case 列表。
Skill 优化和 Harness 工程应并行推进。Skill 解决“Agent 应该做什么”的问题，Harness 解决“Agent 不能做什么”的问题，两者结合才能达到最佳效果。
迭代验证
达标发布与持续观测
完整的生命周期：
创建 → 观测 → 评估 → 优化 → 验证 → 发布 → 观测 → 评估 → …