Agent 返回了 200，任务真的成功了吗？用 ReliaMesh 追踪 AI Agent 可靠性
在传统 Web 服务里，HTTP 200 往往意味着请求处理成功。但对 AI Agent 来说，接口调用成功不等于任务完成：模型可能给出格式错误的结果，工具可能重试多次，延迟或 Token 消耗也可能在版本更新后悄悄上升。只看服务可用性，很容易错过这些退化。
ReliaMesh 是一个面向 Agent 的可靠性事件采集与检测项目。它不收集提示词、模型回答或工具内容，而是接收结构化结果、失败类型、耗时、重试与版本标识，再按租户范围检测失败率、延迟、Token 消耗等变化。项目目前处于早期版本，官方明确说明它不能确定根因，也不从模型文本推断正确性；因此应把它看成运行信号与事件跟踪层，而不是自动判定答案质量的裁判。
先在本机跑通服务
仓库当前说明要求 Python 3.12 或更新版本。发布版本可从 PyPI 安装固定版本：
python -m pip install reliamesh-server==0.2.0 reliamesh-sdk==0.2.0 reliamesh tenant create example --output .local/example.json reliamesh serve
服务默认监听 http://127.0.0.1:8080，SQLite 数据写入 .local/reliamesh.db。租户创建会把凭据写入指定文件，应将其保存在私有位置并加入版本控制忽略规则。生成的初始密钥具有 ingest/read/manage 权限；应用侧应另建仅有 ingest 权限的密钥，避免把管理权限带进业务进程。
如果选择 Docker Compose，官方 README 提供的基本流程如下：
docker compose up --build -d --wait docker compose exec api reliamesh tenant create example --output /data/example.json docker compose cp api:/data/example.json .local/example.json
复制前要先创建本地 .local 目录。面向远程客户端之前，还应按官方建议放在 HTTPS 之后；本地快速试验则可保留 loopback 绑定。
在业务代码中只发送结果元数据
Python SDK 的核心接入方式是创建 Client、构造事件、调用 emit，最后显式 flush：
import os
from reliamesh_sdk import Client, event
client = Client(
endpoint=os.environ["RELIAMESH_ENDPOINT"],
api_key=os.environ["RELIAMESH_API_KEY"],
)
client.emit(event(
deployment_id="prod-eu1",
agent_id="order-agent",
operation="validation",
outcome="failure",
failure_type="malformed_output",
model="model-alias",
prompt_version="release-7",
latency_ms=210,
))
client.flush()
这里记录的是执行结果、操作名、版本标签与耗时，而不是用户输入或模型输出。emit 只把事件放入队列，真正发送由同步的 flush 完成；官方建议异步或对延迟敏感的服务在 worker 中执行，并观察 client.counters 里的丢弃计数。不要把 flush 不加评估地放进用户请求的关键路径，否则遥测网络等待可能增加业务响应时间。
从采集走到回归观察
接入后，可以通过认证的 /v1/summary 查看时间窗统计与版本元数据，通过 /v1/incidents 查看事件历史；/openapi.json 提供 HTTP API 描述。项目强调确定性规则：关注高失败率、失败率变化、延迟、Token 消耗与重试等指标，并将观测关联到版本，记录故障指纹以及事件打开和恢复过程。
推荐先以一个明确的 operation 和部署版本做小范围试点，再观察同一工作流在版本变更前后的事件分布。事件标签应使用不含隐私的、不透明标识；项目的 Schema 校验并不能识别藏在合法标签字符串里的秘密。SQLite 自托管路径不向外发送遥测数据，过期的观测读取会在七天后被抑制；但密钥仍会保留直到撤销或删除，物理清理需要运维人员按期执行 reliamesh purge。因此，数据保留、备份、密钥轮换仍然是部署方的责任。
适用边界
ReliaMesh 的价值在于把 Agent 的结果信号变成可查询、可比较的运行记录，帮助团队尽早发现“任务失败变多了”或“新版本更慢了”。它不证明某条回答正确，也不提供根因分析或已校准的误报率。当前分析范围是有限的租户本地数据，跨组织的群体情报功能处于禁用状态；不要把项目演示或合成数据当成真实客户效果。
若团队已有 Agent 执行链路，却缺少跨版本的结果与退化观察，可以先选一条非关键工作流，用最少字段接入并验证事件、摘要和恢复流程，再决定是否扩大部署范围。对于处理敏感数据的系统，优先采用自托管 SQLite、限制 ingest 密钥权限，并把清理与备份纳入常规运维检查。
相关链接