AI 测试不是让模型替你断言:用 e2e 混合自然语言与确定性检查
传统端到端测试擅长验证明确条件,却不擅长表达“找到结算页并完成升级”这类目标。反过来,完全交给视觉 Agent 操作又难以稳定复现,也难以判断结果是否真的正确。开源项目 e2e 试图把两种方式放进同一...
最新内容
传统端到端测试擅长验证明确条件,却不擅长表达“找到结算页并完成升级”这类目标。反过来,完全交给视觉 Agent 操作又难以稳定复现,也难以判断结果是否真的正确。开源项目 e2e 试图把两种方式放进同一...
让编码 Agent 做一个请假登记页、内部表单或小型仪表盘,代码往往不是最后的难题。真正费时间的是把它放到网上:配置域名和 HTTPS、接登录、准备存储、决定谁能查看或修改。若把未经隔离的 Agent...
AI Agent 已经能改代码、跑命令,遇到系统权限弹窗或需要人确认的操作时,却常常只能在终端里说一句“请点击允许”。如果你正在看别的窗口,这句提示很容易被错过;即使看到了,也得自己猜它说的是哪个按钮...
AI 编程工具已经能写出大量代码,但“代码能不能被人理解”仍然是另一个问题。纯文本 diff 往往把注意力拉到行级变化,架构取舍、接口关系和 Agent 做过的决定反而容易被淹没。Whiteboard...
AI 编码 Agent 把“写代码、开 PR”的成本压得很低,但维护者的审查时间并没有同步变多。当仓库收到大量由 Agent 生成、却缺少真实需求依据的改动时,问题不只是代码质量:每个 PR 都要有人...
AI 编码 Agent 把“写代码、开 PR”的成本压得很低,但维护者的审查时间并没有同步变多。当仓库收到大量由 Agent 生成、却缺少真实需求依据的改动时,问题不只是代码质量:每个 PR 都要有人...
让 AI Agent 直接处理待办事项,真正的难点通常不是“能不能创建任务”,而是任务是否有清晰的优先级、截止时间和依赖关系。把一长串自然语言要求丢给 Agent,几轮对话后很容易出现重复任务、遗漏高...
很多 AI 应用的问题,不是模型完全不会回答,而是团队不知道它为什么失败:某次 Trace 中工具调用顺序错了,另一批样本里引用不完整,修复一个案例又让另一个场景退化。只看一个总分,往往无法指导下一次...
很多 AI 应用的问题,不是模型完全不会回答,而是团队不知道它为什么失败:某次 Trace 中工具调用顺序错了,另一批样本里引用不完整,修复一个案例又让另一个场景退化。只看一个总分,往往无法指导下一次...
AI Agent 上线后,最危险的故障往往不是服务直接崩溃,而是它“看起来能跑”:请求返回了 200,日志也没有明显异常,但回答没有根据、工具调用走偏,或者用户已经开始反复追问。只抽样一小部分会话,很...