AI Agent 上线后如何发现退化？用 Apgar 做无需 LLM 裁判的版本健康检查
传统服务发布后，团队会盯错误率、延迟和可用性；AI Agent 却可能没有崩溃，只是工具调用失败变多、陷入重试循环、回答变短，或者成本悄悄上升。只看 HTTP 200 很难发现这种“行为退化”。Apgar 是一个面向 Agent 发布的健康监控项目：它读取已有的运行追踪数据，将新版本与前一版本比较，并在检测到信号变化时通知团队。项目定位明确：不需要 LLM 裁判、人工标注数据集，也不存储 prompt 或 completion 正文。
它比较的不是“答案好不好看”
真正的应用通常还要关注成本和延迟。Apgar 的 README 列出工具错误、重试与循环、工具调用数量、回答长度、成本和延迟等信号；触发变化时可经 Slack 或 webhook 通知。它支持 OpenTelemetry traces，也能从 Langfuse 导入。部署时为每个版本附上 release 属性，平台据此把新版本与前一版本分组比较。项目主张观察全量流量，不用另一个模型为输出评分。
这类监控回答的是“运行行为有没有变”，而非“回答内容是否正确”。若模型给出错误事实、但错误率、调用数、时延和成本都没有明显变化，指标未必报警。因此它适合充当发布后的异常哨兵，不该取代离线任务集评测、人工抽检或安全测试。这个边界很重要：没有告警，不等于质量已获保证。
用 Docker Compose 起步
项目 README 给出的最小部署方式是 Docker Compose。先创建目录、下载 compose 文件并准备密钥：
mkdir apgar && cd apgar curl -fsSLO https://github.com/oimo-ai/apgar/releases/latest/download/docker-compose.yml export APGAR_SECRET_KEY="$(openssl rand -hex 32)" export APGAR_ADMIN_TOKEN="$(openssl rand -hex 16)" export CLICKHOUSE_PASSWORD="$(openssl rand -hex 16)" printf 'APGAR_SECRET_KEY=%s\\nAPGAR_ADMIN_TOKEN=%s\\nCLICKHOUSE_PASSWORD=%s\\nAPGAR_PUBLIC_URL=http://localhost:8080\\n' \\ "$APGAR_SECRET_KEY" "$APGAR_ADMIN_TOKEN" "$CLICKHOUSE_PASSWORD" > .env docker compose up -d --wait
命令以 openssl rand 产生随机值后写入 .env；不要将该文件提交到 Git，也不要复用示例中的弱密钥。启动后按项目快速开始文档访问本机 http://localhost:8080，使用 APGAR_ADMIN_TOKEN 对应的值登录。README 还列出 Kubernetes Helm 部署选项；生产环境应遵循其自托管指南，另行评估持久化、备份和访问控制。
让版本信息进入追踪
上线集成的重点，是让每条 Agent trace 携带稳定、可比较的版本标识。应用在部署时将 release 作为资源属性或 span 属性发送；Collector 可将 trace 转发到现有观测平台，并按 Apgar 文档接入。每次发布更新该值，例如 agent.release=2026.11.1。字段名应以接入文档和实际配置为准，不要各服务随意拼写不同；若版本值随进程随机变化，数据就无法按发布批次比较。
比较结果也受流量结构影响：新旧版本承接的请求类型差异很大，或某次发布样本极少时，指标变化不一定来自代码。落地时先在测试环境验证 trace 连通和 release 标签，再经历几次发布建立基线；告警出现后结合流量、部署时间和业务事件复核，而不要机械回滚。
适用团队与落地边界
Apgar 更适合已经有 OpenTelemetry 或 Langfuse、且按版本发布 Agent 的团队。它提供的是发布健康观测层：用已有追踪数据找行为变化，再把信号送到团队工作流。它不扫描未进入追踪系统的调用，也不会判断邮件、代码或工具结果的语义真伪。对于高风险 Agent，仍需权限控制、提示注入防护、评测和人工审批等独立措施。
可以从一个低风险 Agent 开始：接入 traces，统一 release 字段，观察几次部署，再确定哪些信号需要通知值班人员。只有在数据量和版本标注可靠后，才把告警纳入回滚决策；同时保留人工复核。把“系统运行正常”与“Agent 输出正确”拆成两种验收目标，才能避免可观测性仪表盘带来虚假的安全感。
相关链接