AI 测试不是让模型替你断言:用 e2e 混合自然语言与确定性检查
传统端到端测试擅长验证明确条件,却不擅长表达“找到结算页并完成升级”这类目标。反过来,完全交给视觉 Agent 操作又难以稳定复现,也难以判断结果是否真的正确。开源项目 e2e 试图把两种方式放进同一...
最新内容
传统端到端测试擅长验证明确条件,却不擅长表达“找到结算页并完成升级”这类目标。反过来,完全交给视觉 Agent 操作又难以稳定复现,也难以判断结果是否真的正确。开源项目 e2e 试图把两种方式放进同一...
很多 AI 应用的问题,不是模型完全不会回答,而是团队不知道它为什么失败:某次 Trace 中工具调用顺序错了,另一批样本里引用不完整,修复一个案例又让另一个场景退化。只看一个总分,往往无法指导下一次...
AI 编码 Agent 能快速修改代码,但留下的往往只有 diff:它为什么加了缓存?为什么把重试次数设成这个值?如果几天后再看提交记录,单靠代码通常很难还原答案。wy 是一个运行在终端中的实验性 R...
AI 编程 Agent 最大的风险,不是不会生成代码,而是能生成一段类型正确、测试暂时也能通过、但业务含义错误的代码。LLMLL(Large Language Model Logical Langua...
当 AI 编码 Agent 能一次生成数百行代码,真正稀缺的往往不是“写出来”,而是让人快速理解:它为什么这样设计、改动影响了什么、哪些决定是 Agent 自己做的。Whiteboard 选择了一个很...
AI Agent 接入支付、退款、删除数据等工具后,最危险的故障往往不是模型答错,而是重试把同一个副作用执行了两次。网络超时、确认包丢失、运行时自动重试,都可能让 Harness 误以为上一次调用没有...
AI Agent 的测试难点,不在于能否把一次函数调用断言为 True,而在于它面对多轮对话、工具失败和任务分支时,是否仍然做出了安全且可解释的选择。传统单元测试擅长验证确定性函数,却很难描述“用户先...
AI Agent 开始替人做事以后,身份认证已经不够了。一个 GitHub Token 或 OAuth 会话或许能说明“请求来自某个账号”,却很难让接收方判断:这个 Agent 是谁授权的、只能访问哪...
让多个编码 Agent 同时处理一个需求,瓶颈往往不是“能不能生成代码”,而是怎样避免它们互相踩文件、把未经检查的改动推到真实远端,以及怎样让人能逐块判断变更是否值得合并。常见的做法是给每个 Agen...
代码审查 Agent 最容易落地的地方,往往不是“再接一个聊天窗口”,而是 Pull Request 本身:它能看到明确的 diff、仓库上下文和讨论线程,也能把结果留在团队已经使用的工作流里。问题是...