Apgar：不用 LLM 评判器也能捕捉智能体回归
事件
开发金融 AI 智能体的团队开源了 Apgar，一个用来判断智能体新版本是否比上一版更差的发布健康检查工具。它架在 Langfuse 的可观测数据之上，从生产链路的 trace 中识别出当前发布版本，并在新版本上线后的最初几个小时里，将它与上一版本的行为做对比。
对比维度目前共 11 项指标，包括每轮工具调用次数、对同一失败调用的重试、循环、输出长度、每轮成本等。发布页会双向展示哪些指标发生了变化；一旦某项变差，系统通过 Slack 消息和 webhook 告警，并指出变化集中在何处，例如只出现在某个渠道或只在长会话中出现。工具内部不含 LLM 评判器，因此成本足够低，可以对全量流量运行。局限在于，如果一轮对话的其他表现都正常，它无法判断答案本身是否正确，这部分仍要交给离线评测。它兼容 Langfuse，也兼容任何发送 OpenTelemetry 数据的系统。
项目以 Apache-2.0 协议开源，通过 Docker Compose 或 Helm 部署，依赖 ClickHouse，并提供演示数据，便于在未接入任何系统时先试用。对已经上线的智能体团队来说，这提供了一种不依赖昂贵评判模型、用行为指标尽早发现提示词或执行框架改动带来性能退化的思路。
来源
本条目由采集管线自动抓取并发布，完整内容见下方来源链接。
*采集源：Hacker News*