最新内容
界面测试通过，不代表业务真的正确。结账按钮显示“支付成功”，后台却可能重复扣款；页面提示注册成功，欢迎邮件却没有发出。尤其当 AI 编码 Agent 快速生成接口、Webhook 和重试逻辑时，只断言...
AI Agent 的回答看起来正确，不代表它真的按预期使用了你的服务。它可能重复提交预订、绕过审批、把不该暴露的字段带进回复，或者只是在文字里声称任务完成。只检查最终答案，很难区分“说对了”和“做对了...
AI Agent 调用了 MCP 工具、返回了“预订成功”，测试就算通过了吗？未必。工具调用成功只说明请求走完了，不代表数据库里真的只有一笔订单，也不代表用户看到的答案没有夸大。Consumer Ag...
一条注册流程的 UI 测试通过，不代表用户真的只收到一封欢迎邮件；支付按钮能点，也不代表重复提交不会扣两次款。传统端到端测试常验证“页面看起来对不对”，但副作用是否正确，往往还要靠另一套脆弱的集成测试...
传统测试通常验证“接口能不能返回预期 JSON”；但接入 AI Agent 后，还要回答另一个问题：Agent 有没有选对工具、遵守审批规则、正确操作服务，并如实告诉用户结果？Consumer Age...
AI 编码 Agent 很擅长修改代码，却不一定会确认修改在真实应用里生效。页面看起来正常，按钮背后可能收到 500；界面显示“已保存”，应用状态却没变。Reticle 试图把这一步验证带回 Agen...
AI 编码 Agent 的问题常常不是“代码没通过测试”，而是它误删测试、跳过验证，最后却报告任务已经完成。单靠一份写着“请谨慎操作”的提示词，很难证明仓库真的能抵御这些失误。一个新近公开的开源配套项...
AI 生成代码之后，测试常常仍只覆盖开发者预先想到的输入。Tiime Software 的 LLM Fuzz CI 采取了一个更克制的办法：开发者先写好断言，再让编码 Agent 为标记的测试构造对抗...
传统端到端测试擅长验证明确条件，却不擅长表达“找到结算页并完成升级”这类目标。反过来，完全交给视觉 Agent 操作又难以稳定复现，也难以判断结果是否真的正确。开源项目 e2e 试图把两种方式放进同一...
很多 AI 应用的问题，不是模型完全不会回答，而是团队不知道它为什么失败：某次 Trace 中工具调用顺序错了，另一批样本里引用不完整，修复一个案例又让另一个场景退化。只看一个总分，往往无法指导下一次...
