agents-optimizeAWS官方放心用给 AgentCore 智能体加评估、监控和可观测,持续把关回答质量与成本。
这个技能在你想评估或优化 AgentCore 智能体时自动触发。它会先检查 CLI 版本(需 ≥0.9.0),读取 `agentcore/agentcore.json` 了解现有配置,再根据你的意图加载对应的参考文档:`references/evals.md` 负责添加评估器、跑评估、设置 CI/CD 质量门禁和在线监控;`references/observability.md` 负责 CloudWatch 看板、X-Ray 链路、日志指标;`references/cost.md` 负责成本与延迟分析。它能指导你配置 LLM-as-judge、代码评估器、采样率、通过/失败阈值等,但不处理具体报错或崩溃。
适合在智能体上线后想了解回答质量、搭建持续监控、给流水线加质量门,或排查慢和贵的问题时使用。前提是已有 AgentCore 项目且 CLI 版本达标。注意评估与 Trace 数据大约存在 10 秒端到端延迟;生产环境在线评估采样率不建议直接开到 100%,否则成本会飙升。如果是路由出错或功能 broken,请用 `agents-debug`,安全加固请用 `agents-harden`。
在下面找到你用的工具,复制命令粘进终端就装好了:
npx skills add aws/agent-toolkit-for-aws 装好后不用任何配置,直接在对话里说:
给我的 AgentCore 项目加一个 LLM 评判的质量评估器,并跑一遍离线评估。 AI 检测到任务匹配时会自动加载这个 Skill,不需要手动开关。
SKILL.mdreferences/ 需要安装 AgentCore CLI v0.9.0 或更高版本,并且项目里已有 `agentcore/agentcore.json`,否则它会先让你去创建项目。
`agents-optimize` 管的是质量、性能、成本和可观测;如果智能体已经报错、崩溃或输出完全错误,应该换 `agents-debug` 做根因排查。
不要把采样率直接设为 100%,否则调用量和成本会很高。另外评估数据从写入到可查询大约有 10 秒端到端延迟。