https://blog.kmoon.fun/blog/skill/ Recent content in Skill on Kmoon Blog Hugo zh-CN hushan@kmoon.fun (Kmoon) hushan@kmoon.fun (Kmoon) Copyright © 2020-2026. Kmoon. Thu, 08 Oct 2026 11:35:21 +0800 00000000000000000 00000000000000000 https://blog.kmoon.fun/%E5%9F%BA%E4%BA%8E%E9%98%BF%E9%87%8C%E4%BA%91-agentloop-%E7%9A%84-skill-%E8%AF%84%E4%BC%B0%E4%B8%8E%E4%BC%98%E5%8C%96%E6%9C%80%E4%BD%B3%E5%AE%9E%E8%B7%B5/ Thu, 08 Oct 2026 11:35:21 +0800hushan@kmoon.fun (Kmoon) https://blog.kmoon.fun/%E5%9F%BA%E4%BA%8E%E9%98%BF%E9%87%8C%E4%BA%91-agentloop-%E7%9A%84-skill-%E8%AF%84%E4%BC%B0%E4%B8%8E%E4%BC%98%E5%8C%96%E6%9C%80%E4%BD%B3%E5%AE%9E%E8%B7%B5/ <blockquote> <p><a href="https://mp.weixin.qq.com/s/yqzWQVQaGxTm3AV3dh6LYg">基于阿里云 AgentLoop 的 Skill 评估与优化最佳实践</a></p> </blockquote> <p>在 AI Agent 应用中，Skill（技能）是赋予 Agent 特定领域能力的关键资产。然而，一个 Skill 从编写到发布，如何确保它在真实场景中表现良好？如何量化它的质量？如何系统性地持续优化？</p> <p>这套流程的核心理念是：用可观测数据感知现状，用离线实验量化质量，用 Bad Case 驱动优化，用评分趋势验证效果。</p> <h1 id="skill-的创建与管理">Skill 的创建与管理</h1> <p>Skill 本质上是一组结构化的指令和约束，用于指导 Agent 在特定领域（如 CMS 运维、代码审查、工单处理等）中执行任务。</p> <p>一个典型的 Skill 包含以下要素：</p> <ul> <li>Prompt 指令：定义 Agent 的操作流程、步骤和约束；</li> <li>工具调用规范：指定 Agent 应调用的 CLI 命令或 API；</li> <li>输出约束：规定输出的格式、禁止出现的内容等；</li> <li>安全边界：明确哪些操作是被禁止的、哪些信息不应暴露。</li> </ul> <h1 id="可观测接入">可观测接入</h1> <p>Skill 投入使用后，AgentLoop 的可观测能力会自动采集 Skill 的执行数据。通过 Skill 大盘，开发者可以实时掌握：</p> <p>观测维度：</p> <ul> <li>加载次数</li> <li>调用次数</li> <li>使用用户数量</li> <li>版本信息</li> </ul> <h1 id="构建评估数据集">构建评估数据集</h1> <p>评估数据集（Dataset）是离线实验的基础。每个测试用例（Case）由以下几部分构成：</p> <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-fallback" data-lang="fallback"><span class="line"><span class="cl"># 一个典型的评估用例 </span></span><span class="line"><span class="cl">case:  </span></span><span class="line"><span class="cl">name: &#34;查询 Prometheus 监控数据&#34;  </span></span><span class="line"><span class="cl">prompt: &#34;帮我查看当前工作空间下 Prometheus 的监控数据&#34;   </span></span><span class="line"><span class="cl"># 期望的行为：Agent 应该执行的命令  </span></span><span class="line"><span class="cl">expected_behaviors:    </span></span><span class="line"><span class="cl">- &#34;arms-prometheus query&#34;    </span></span><span class="line"><span class="cl">- &#34;kubectl get pods&#34;   </span></span><span class="line"><span class="cl"># 期望的输出：Agent 响应中应包含的内容  </span></span><span class="line"><span class="cl">expected_outputs:    </span></span><span class="line"><span class="cl">- &#34;监控数据查询成功&#34;    </span></span><span class="line"><span class="cl">- &#34;工作空间信息&#34;   </span></span><span class="line"><span class="cl"># 禁止出现：Agent 响应中不应包含的内容  </span></span><span class="line"><span class="cl">forbidden_outputs:    </span></span><span class="line"><span class="cl">- &#34;AccessKey&#34;    </span></span><span class="line"><span class="cl">- &#34;SecretKey&#34;    </span></span><span class="line"><span class="cl">- &#34;内部 IP 地址&#34; </span></span></code></pre></div><p>数据集的设计原则</p> <ul> <li>覆盖真实业务场景：数据集应来源于真实的业务需求，涵盖 Skill 要处理的核心操作场景</li> <li>正反例兼顾：既要包含期望行为的正例，也要包含禁止行为的反例，确保评估的全面性；</li> <li>可验证性：每个用例的期望结果应该是明确可验证的，便于自动化评估器进行判定。</li> </ul> <h1 id="离线实验">离线实验</h1> <p>AgentLoop 提供了完整的离线实验能力。开发者发起一次实验后，系统会自动完成以下工作：</p> <ol> <li>环境准备：拉起指定的 Agent 框架（如 Codex、Claude Code 等）和对应的模型；</li> <li>用例执行：逐个执行数据集中的测试用例，记录完整的输入输出；</li> <li>对比实验：同时运行“有 Skill”和“无 Skill”两组对照实验，量化 Skill 的增量价值；</li> <li>多模型覆盖：支持在多个 Agent 框架和模型组合下运行同一组用例，评估 Skill 的普适性。</li> </ol> <p>每次离线实验完成后，系统会从多个维度自动评分：</p> <ul> <li>正确性</li> <li>安全性</li> <li>工具调用合理性</li> <li>静态检查</li> </ul> <h1 id="bad-case-分析与优化">Bad Case 分析与优化</h1> <p>离线实验的一个核心价值是帮助开发者快速定位问题。通过实验报告的筛选功能，可以按评分从低到高排序，快速找出表现不佳的 Case：</p> <ul> <li>按维度筛选：例如筛选“安全性 &lt; 0.5”的 Case，集中解决安全问题；</li> <li>按评分阈值筛选：找出所有综合得分低于阈值的 Case；</li> <li>通过 CLI/API 批量获取：AgentLoop 提供了 CLI 接口，可以程序化地查询实验结果，自动提取 Bad Case 列表。</li> </ul> <p>Skill 优化和 Harness 工程应并行推进。Skill 解决“Agent 应该做什么”的问题，Harness 解决“Agent 不能做什么”的问题，两者结合才能达到最佳效果。</p> <h1 id="迭代验证">迭代验证</h1> <h1 id="达标发布与持续观测">达标发布与持续观测</h1> <p>完整的生命周期：</p> <p>创建 → 观测 → 评估 → 优化 → 验证 → 发布 → 观测 → 评估 → &hellip;</p>