让 Agent 测试不止停在‘调用成功’:用 CATT 验证服务端真实结果
AI Agent 调用了 MCP 工具、返回了“预订成功”,测试就算通过了吗?未必。工具调用成功只说明请求走完了,不代表数据库里真的只有一笔订单,也不代表用户看到的答案没有夸大。Consumer Ag...
最新内容
AI Agent 调用了 MCP 工具、返回了“预订成功”,测试就算通过了吗?未必。工具调用成功只说明请求走完了,不代表数据库里真的只有一笔订单,也不代表用户看到的答案没有夸大。Consumer Ag...
如果你把项目决策、会议记录和复盘都写进 Markdown,真正难的往往不是“搜到一篇笔记”,而是回答跨越数月的问题:某个方案为什么反复搁置?团队对一个设计的判断何时改变?普通全文搜索擅长找精确词句,却...
一个能调用工具的 Agent,核心循环可能只有几十行;但要让它在真实代码库里稳定工作,还得处理权限、上下文、失败恢复、评测和部署。把这些环节统称为 harness(运行支撑层),有助于把“模型够不够强...
把 Agent 放进一次性脚本里跑几分钟,和让它在服务器上连续工作几天,是两种不同的问题。后者不仅要回答“它能做什么”,还要处理预算上限、越权操作、异常重启,以及人如何随时叫停。Argus 是一个自托...
给 Agent 接一个搜索工具并不难,难的是弄清它搜的是什么索引、返回的是可直接访问的 URL 还是搜索引擎跳转链接,以及遇到验证码时会不会把空结果伪装成成功。gsearch 是一个 MIT 许可的 ...
开发机上常常同时存在几种网络出口:日常浏览走隐私 VPN,访问公司资源走工作隧道,局域网服务则留在本地网络。传统做法往往是切换 VPN 或手动改路由;前者打断工作,后者容易把规则变成难以追踪的系统配置...
一条注册流程的 UI 测试通过,不代表用户真的只收到一封欢迎邮件;支付按钮能点,也不代表重复提交不会扣两次款。传统端到端测试常验证“页面看起来对不对”,但副作用是否正确,往往还要靠另一套脆弱的集成测试...
给 AI Agent 一个终端,就等于让它接触工作目录、凭据和网络。容器可以隔离进程,但团队有时还希望每个任务拥有独立内核与文件系统。Koala 是一个面向 Apple 芯片 Mac 的命令行工具:它...
把数据库账号交给 AI Agent,最让人担心的往往不是它不会写查询,而是它写对了语法、却做错了事:漏掉 WHERE 的 DELETE、误删表,或把不该读取的敏感列带出数据库。数据库权限能限制“谁能访...
浏览器自动化最让人头疼的,往往不是“点不到按钮”,而是 Agent 和人正在争用同一个浏览器:它跳转页面时打断你的工作,登录态又要重复配置;多个任务并行时,标签页和会话状态很容易互相干扰。ego li...