Agent 需要人类点击时怎么办？bigarrow 把屏幕交接变成可执行提示
AI Agent 能够操作终端、修改代码，却常常卡在“请点击系统弹窗里的允许”这一步。只在聊天窗口里描述按钮位置，既容易让人找错，也会让 Agent 不知道用户是否已经完成操作。macOS 命令行工具 bigarrow 尝试把这段交接具象化：在目标界面上方绘制箭头、框或提示牌，指向要处理的位置，同时不抢走当前键盘焦点。
它不是自动点击器，也不替用户批准权限。它提供的是一种人机协作提示层：Agent 说明“要做什么”，人仍亲自判断并点击。
从标签定位开始
项目提供 Homebrew 安装方式，并可安装面向 Claude Code 与 Codex 的技能说明：
brew install franzenzenhofer/tap/bigarrow bigarrow install-skill
安装后可以按界面可访问性标签指向控件。例如，要提示用户在系统设置里找到 Terminal 的开关：
bigarrow point \ --element "Allow" \ --app "System Settings" \ --text "请确认这是你发起的操作，再点击 Allow"
--element 使用界面元素的标签；如果目标没有可靠标签，也可以用 --at x,y 指定坐标。项目 README 展示了 point、start 和 stop 等命令，以及 --role、--style、--size 等参数。实际使用前应先在目标应用上验证元素名称和辅助功能权限，不能假定任意自绘 UI 都能被标签准确识别。
提示层和自动化边界
一个持续显示的箭头可以这样启动，再在任务结束时清除：
bigarrow start \ --window "Safari:Inbox" \ --text "请检查收件箱中的这条消息" bigarrow stop
README 还介绍了让箭头随发起进程退出、或在人类回复时由 Claude Code hook 清理等生命周期做法。命令支持 JSON 输出，退出码也区分成功、输入错误、目标未找到和权限缺失。把这些状态交给 Agent，可避免它只凭“命令没报错”就断言提示已经显示。
重要的是，覆盖层不会代替用户操作：项目称箭头可点击穿透目标区域、不会成为前台焦点窗口；绘制本身不要求 bigarrow 获得屏幕录制权限。辅助功能授权则授予启动它的 Terminal、IDE 或 Agent 宿主，而不是授予 bigarrow 本身。权限依然应按需设置，并由用户检查提示文本是否描述了真实意图。
适合哪些交接场景
这类工具适用于桌面 Agent 已经完成可自动化部分、下一步必须由人确认的流程，例如找到系统设置开关、解释某个应用的按钮、引导首次配置，或在多个相似控件间明确指出目标。它也可用于录制操作说明：提示文字说明“为什么要点”，箭头负责“在哪里点”。
但它不是通用视觉理解服务。找不到可访问性标签时，坐标可能受窗口位置、显示器布局和缩放影响；一个箭头也无法证明目标操作安全。对删除数据、授权访问、付款等高风险动作，Agent 应解释后果并等待明确确认，而不是把醒目的指向误当成授权。
实际接入时，可以让 Agent 先检查 bigarrow 的 JSON 结果和退出码，再用原有自动化手段确认用户完成了哪一步；若目标未找到，则退回文字说明或请求用户描述界面，不应盲目改用猜测坐标。提示文本也应避免包含密码、访问令牌或完整个人信息，因为文字会显示在屏幕上，可能进入录屏或截图。对于多显示器和全屏应用，先在低风险窗口做一次测试，再纳入日常流程。
最小化权限与可验证交接
可以把交接设计成三个步骤：Agent 发出带理由的提示；用户核对应用、控件与后果后亲自操作；Agent 通过后续界面状态或明确回复确认完成。不要把箭头出现视为操作成功，也不要让 Agent 因超时而自动重复触发敏感操作。
bigarrow 的项目 README 标注 MIT 许可，并将工具描述为 macOS 命令行程序及 Claude Code、Codex 技能。它适合需要“看得见的人工确认”的桌面工作流；如果需求是无人值守点击、跨平台远程控制或权限决策审计，则应选择专门的自动化与治理方案，而不是把提示覆盖层当成这些能力的替代品。
相关链接