2026年10月12日 1 分钟阅读

AI Agent 只能告诉你点哪里?bigarrow 让它把按钮直接指出来

tinyash 0 条评论

AI Agent 已经能改代码、跑命令,遇到系统权限弹窗或需要人确认的操作时,却常常只能在终端里说一句“请点击允许”。如果你正在看别的窗口,这句提示很容易被错过;即使看到了,也得自己猜它说的是哪个按钮。

big-arrow-on-the-screen(命令名 bigarrow) 用一个很克制的方式解决交接问题:在 macOS 桌面上叠加箭头和说明牌,指向指定窗口或控件。它不是点击机器人,不替人作决定;目标是把“轮到人操作”的位置清晰标出来。

适合哪些需要人工接手的步骤

权限授权、OAuth 同意、验证码、双重验证、支付确认以及签名,通常都应该由人完成。Agent 可以指出下一步,但不应越过人的授权边界。bigarrow 把提示放到相关应用窗口上方,让你不必在终端消息和桌面之间来回寻找。

它也可用于远程协助和演示:例如逐步指出设置面板中的选项,或用箭头标注教程中的操作位置。项目 README 明确强调它只负责指示,不点击、不输入,也不截取屏幕;因此它更像是 Agent 与人的交接层,而不是自动化操作工具。

先用最短命令试一下

项目提供 Homebrew 安装方式,并可安装面向 Claude Code 和 Codex 的 skill:

brew install franzenzenhofer/tap/bigarrow
bigarrow install-skill

用控件名称定位时,可以这样让箭头指向系统设置里的按钮:

bigarrow point --element "Allow" \
  --app "System Settings" \
  --text "请确认是否允许 Terminal 控制这台 Mac"

--element 指定目标控件标签,--app 指定应用,--text 是显示给人的说明。README 还提供坐标定位示例:

bigarrow point --at 760,500 --text "请检查这里的设置"

坐标是屏幕上的逻辑点;多显示器环境下,最好结合实际布局确认目标位置。若要持续显示而不是短暂提示,可用 start,再通过 stop 清除:

bigarrow start --window "Safari:Inbox" --text "请检查这个窗口"
bigarrow stop

这几个示例来自项目 README 的命令参考。实际应用中,先在非敏感场景验证控件名称、窗口标题和坐标是否准确,再把指示接入 Agent 工作流。不要把“箭头指到了”误认为操作已经完成,最终确认仍应由人来做。

设计上的边界,比自动化更重要

这类工具的价值不只是醒目的箭头,也在于它主动不做什么。README 描述了透明置顶窗口、点击穿透和自动消失等行为;绘制指示本身不需要额外的 macOS 权限。工具不需要账号或常驻后台服务,也没有内置 AI。它将模型推理、界面定位与人的最终决定分开,减少了 Agent 在高风险步骤上“顺手替你点了”的诱因。

不过,不能因此把它当作安全隔离措施。箭头本身不能验证弹窗真伪,也不能判断操作是否危险;恶意或错误的 Agent 仍可能给出误导性说明。对于授权、付款、密钥等动作,应把提示内容、应用名称和实际请求一起核对。让人明确执行,而不是只看箭头颜色就批准。

macOS 使用限制与落地建议

项目定位是 macOS 命令行工具,README 写明从源码构建需要 Xcode 16+,运行目标为 macOS 14+;它并不是跨平台桌面方案。仓库采用 MIT 许可证。若你的 Agent 跑在 Linux 服务器或容器中,bigarrow 不会直接把远端桌面变成可视界面;它适合安装在需要人工交接的 Mac 上。

一个稳妥的落地顺序是:先让 Agent 在遇到“必须由人完成”的步骤时停下来;再调用指示命令展示目标和原因;用户操作后由 Agent 重新读取状态或请求人工确认。不要把显示箭头当作成功信号,也不要让说明牌包含密码、令牌等秘密。这样,视觉提示只是交接协议的一部分,而不是授权本身。

如果你经常需要在系统弹窗、浏览器登录和桌面设置之间接管 Agent,bigarrow 提供了一个轻量的“指给你看”选项。它不追求替人完成最后一步,而是让最后一步更容易找到、也更容易由人负责。

相关链接

发表评论

你的邮箱地址不会被公开,带 * 的为必填项。