AI 爬虫访问网站，能不能按页付费？ForgeMesh 用 x402 给 WordPress 加一道收费门
当 AI 代理和内容抓取器批量读取网页时，网站经营者面对一个新问题：页面被机器消费，访问量却未必带来广告、订阅或授权收入。ForgeMesh 的 Pay-per-Crawl WordPress 插件尝试把访问变成按页结算：普通访客和经验证的搜索引擎照常阅读，AI 爬虫与脚本收到 HTTP 402 付款挑战，完成 USDC 链上结算后再重试取页。
这不是把整站改成付费墙，而是在服务端识别不同请求者，并为机器访问提供一条可编程的支付路径。项目以 x402 为支付协议，在 Base 网络上使用 USDC；仓库标注 GPL-2.0-or-later。它适合研究机器访问变现的站长和开发者，但目前仍需要评估支付网络、机器人识别与爬虫兼容性，不能把“支持协议”理解成所有 AI 平台都会自动付款。
一次请求如何完成支付
插件文档给出的流程可以概括为：爬虫请求页面后，服务器返回 402 Payment Required，并在响应中附上价格、收款钱包和资产等挑战信息。兼容的客户端根据挑战生成 USDC 转账授权，再携带凭证重试。插件把授权交给 x402 facilitator 验证并提交到链上；拿到交易哈希后才返回页面，并记录访问与结算信息。
这里有几个值得留意的设计点：
- 真人访问不变：浏览器访客仍按原有方式读取网页，不需要连接钱包。
- 搜索引擎可免付费：Googlebot、Bingbot、DuckDuckBot 和 Applebot 通过反向 DNS 检查；仅在 User-Agent 里自称搜索引擎的请求不会因此获得信任。
- 收款不经插件托管：README 表示款项直接进入站长的钱包，facilitator 负责验证与提交，不持有资金。
- 先观察再收费：可先使用 Monitor 模式查看哪些机器人会触发请求及潜在金额，再切换到 Charge。
这套交互的关键不是“区块链让网页免费赚钱”，而是 HTTP 402 给客户端一个机器可读的付款协商入口。真正的体验取决于爬虫是否实现对应协议、支付确认时间、网络费用以及站长设置的单页价格。若客户端不支持挑战，它可能只会看到 402，而不会继续抓取。
WordPress 上手与灰度建议
项目 README 推荐从 GitHub Releases 下载插件 ZIP，在 WordPress 后台进入“插件 → 安装新插件 → 上传插件”并启用。随后在 Pay-per-Crawl 设置页填写 Base 网络的 0x 收款地址，设定单页价格（文档给出的默认值为 0.01 美元），先保持 Monitor 模式观察，再决定是否开启收费。
安装 ZIP → 启用插件 → 设置收款地址与单页价格
↓
Monitor 观察一天
↓
检查机器人分类、页面路径和误判 → 再考虑 Charge
如果站点位于 Cloudflare 或其他反向代理之后，文档提醒要配置 Client IP header，否则搜索引擎的来源验证可能拿不到真实客户端地址。建议先在测试站点验证：真人、已验证搜索引擎、普通抓取脚本和兼容 x402 的客户端分别会收到什么响应；同时确认缓存/CDN 不会把 402 挑战错误地缓存给其他访客。
不要一上来就对全部页面收费。先对低风险内容观察日志，核对机器人分类与真实来源；再选少量路径做小额测试。收款地址、价格和模式属于影响真实访问的配置，变更前应备份站点，并准备快速切回 Monitor 或停用插件的方案。支付挑战也不等同于访问控制：敏感后台、个人数据和付费内容仍应使用成熟的认证授权机制。
适用范围与需要验证的边界
插件仓库介绍了机器人分析、支付结算记录以及 /.well-known/x402.json、/llms.txt、/agents.txt 等发现文件。文档还称插件本身不会联系 ForgeMesh；只有出现付款请求时才向所选 facilitator 发出外部请求。部署者仍应自行核对当前版本代码、网络出口和隐私要求，不应只依赖产品说明。
它的价值在于提供一套可实验的机制：把“谁在抓取、抓了哪些页面、是否付款”从模糊流量转成可观测事件。但收益并无保证，爬虫覆盖率和使用意愿也未知。对于依赖搜索曝光的网站，必须确认免付费搜索引擎识别无误；对不兼容协议的 AI 服务，HTTP 402 可能意味着访问直接失败。先监控、再小范围启用，比把整站切到收费模式稳妥得多。