AI 编程工具横评，为什么不能只看排行榜：用同一任务比较六种 Harness
Claude Code、Codex CLI、Aider、OpenCode、Pi 和 Cursor 经常被放进同一张榜单，但“谁最好”往往不是一个可复现的问题。不同模型、版本、项目上下文、权限设置和任务难度，都会改变结果。近期一篇对六种编码工作流的整理也明确修订了早期内容：它没有在本次更新中重跑六工具基准，并撤回缺乏匹配条件支撑的性能与 token 成本排名。
这并不意味着比较毫无意义，而是应该把问题从“谁的分数最高”改成“哪种工作流适合我的任务，以及我怎样验证它”。本文基于该整理与各项目公开文档，给出一套可复现的评估方法；不把它包装成新的性能测试。
先区分模型、Harness 与执行环境
AI 编程产品的表现不是单一模型能力。Harness 决定它如何读取仓库、调用工具、保存上下文、处理失败并呈现改动；执行环境则决定依赖是否可装、网络是否可用、权限边界在哪里。即使模型相同，Harness 和环境不同，任务结果也可能不同。
原整理提到的六种工具并非完全同类：Claude Code、Codex CLI、Aider、OpenCode、Pi 更接近可运行在本地或集成到开发流程中的编码 Agent/CLI；Cursor 同时提供编辑器工作流与云端 Agent。把它们放在一起可以比较使用方式，但不能忽略产品形态差异。尤其不能把“编辑器内交互”与“隔离云环境里异步执行”当作同一条件。
| 评估维度 | 应记录什么 | 为什么重要 |
|---|---|---|
| 输入条件 | 仓库 commit、任务描述、项目规则 | 防止上下文和代码状态不同 |
| 模型与版本 | 模型名、工具版本、运行日期 | 结果可能随版本变化 |
| 执行权限 | 可用命令、网络、文件写入边界 | 影响安全性与完成路径 |
| 结果质量 | 测试结果、验收项、遗漏与回归 | 避免只凭回答观感打分 |
| 人工介入 | 纠正次数、等待时间、最终审查 | 衡量实际协作成本 |
| 费用 | 可获得的计费数据及统计口径 | token 数不等于总成本 |
设计一个公平的单任务对照
先选一个边界明确、能自动验证的真实任务，例如“为现有解析器增加一种输入格式，并补齐边界测试”。把验收条件写成清单：支持哪些输入、错误输入如何处理、哪些既有测试必须通过。避免用“重构整个应用”这类范围模糊的任务，因为评分容易被主观判断主导。
接着从同一个 commit 建立独立工作副本。每个工具拿到相同任务描述、相同项目说明、相同测试命令与尽可能一致的权限。若产品必须使用不同模型或不同运行环境，应如实记录，而不是把差异藏进“工具排名”。并行测试时也要隔离目录，避免一个 Agent 的改动被另一个读取。
最小记录表可以是：
任务：新增 CSV 导入格式 起始 commit：<git rev-parse HEAD> 工具 / 版本：<name / version> 模型：<model> 允许操作：读取仓库、编辑文件、运行测试 验收：单测通过；无效行有明确错误；既有 JSON 输入不回归 结果：通过项 / 失败项 / 人工介入 / 实际耗时 / 可核验费用
每轮结束后运行同一测试命令，并由人检查 diff：是否只改了相关区域、是否新增了未经要求的依赖、错误处理是否合理、文档是否同步。只看 Agent 最终总结不够，因为总结可能遗漏失败测试或未提交的更改。把“完成度”和“审查成本”分开记录，才能识别看似快、实际需要大量返工的方案。
用任务类型选工具，而不是追求总冠军
如果工作需要长链路执行，关注工具如何保留项目指令、处理失败和提供可审查的最终改动；如果任务更适合脚本化，关注非交互运行与结构化结果；如果团队要并行尝试方案，则关注分支隔离、会话管理与环境复现；如果开发者主要在编辑器中逐步引导，则应评估交互反馈和改动审阅是否顺手。
这些是评估问题，不是对某款产品的未实测结论。原作者也区分了个人的旧使用体验与本次更新中对当前文档的核对，并说明没有开展新一轮六工具实测。因此，引用其文章时，宜把它作为比较框架和文档更新线索，而非 benchmark 排名。
一个实用做法是先用两个任务筛选：一个小而明确的修复，用来观察遵循指令与测试能力；一个涉及多文件的功能，用来观察上下文管理、失败恢复和审查体验。每个任务至少重复几轮，并保留原始结果。若要比较费用，应说明使用的订阅/计费口径；没有可靠数据时就留空，不用 token 数推算账单。
结论：让比较可以被复查
AI 编程工具并不存在脱离任务的通用冠军。可信的横评应同时公开任务、起始代码、模型与版本、权限、验证方式及费用口径；把“厂商能力介绍”“个人使用印象”和“同条件实测”明确区分。这样读者才能判断结论适不适合自己的团队，也能在工具升级后重新跑一遍，而不是被一个无法复现的分数说服。
相关链接