把 AI Agent 接入测试变成可复现用例:用 CATT 检查服务端实际结果
AI Agent 的回答看起来正确,不代表它真的按预期使用了你的服务。它可能重复提交预订、绕过审批、把不该暴露的字段带进回复,或者只是在文字里声称任务完成。只检查最终答案,很难区分“说对了”和“做对了...
最新内容
AI Agent 的回答看起来正确,不代表它真的按预期使用了你的服务。它可能重复提交预订、绕过审批、把不该暴露的字段带进回复,或者只是在文字里声称任务完成。只检查最终答案,很难区分“说对了”和“做对了...
把文件交给 AI 助手处理,往往意味着要先把内容上传到云端。对合同、内部报表或个人资料,这不一定合适;而本地模型工具又常要求用户自己挑模型、配运行环境。Hob 试图把两件事合在一起:提供桌面式的文件工...
AI 编码 Agent 常在终端或后台运行。它遇到权限确认、需要你选择方案时,往往只留下一个不显眼的提示;等人发现时,任务已经空转了一阵。Glitchrupt 是一个面向 macOS 的轻量提醒工具:...
同一个项目里,Claude Code 今天记录了某个设计决策,几天后换到 Codex 却要重新解释背景——这类上下文断层并非模型能力不足,而是会话记忆没有跨工具保存。Graph-MIND 是一个本地运...
当 Claude Code、Codex CLI 和 OpenCode 同时在一台开发机上工作,真正的瓶颈未必是模型,而可能是本机的 CPU、内存与磁盘缓存。多个 Agent 一起执行测试、编译或打包,...
多数编码 Agent 的工具箱由开发者预先配置:需要新工具,就改配置、重启进程,再让 Agent 继续工作。Nodecode 走了另一条路:它把运行中的 Lisp 程序暴露给模型,让模型可以定义新的函...
Agent 执行支付、发邮件或调用外部 API 时,最棘手的故障往往发生在“外部操作已成功,但进程尚未来得及保存结果”这一刻。此时从头重跑可能重复产生副作用。Forked 是一个 Apache-2.0...
排查线上问题时,工程师常在终端、Kubernetes 面板、Grafana、SSH 客户端、数据库工具和笔记之间来回切换。OpsDeck 的思路不是再造一个云端控制台,而是把这些入口放进一个本地桌面工...
AI Agent 要在网站里查资料、编辑内容或提交表单,传统做法往往是让模型看浏览器页面并直接点击。另一条路径是把网站能力变成可描述、可调用的 CLI 或 MCP 工具。Hycli(仓库名 Hycli...
很多 Agent 故障并不止于“模型答错了”。它可能已经调用工具、改写文件,甚至触发数据库操作;只保存对话历史,无法还原这些外部副作用。JUKEBOX-OS 将自己定位为面向多 Agent 系统的记录...