2026年11月4日 1 分钟阅读

手机能跑代码,也能操作 App?Umbra 把 AI Agent 放进 Android 工作流

tinyash 0 条评论

很多 AI Agent 的“行动”仍停留在浏览器或桌面终端:它能生成代码,却未必能直接在手机上打开应用、读取界面并完成一段需要人工确认的操作。Umbra 尝试把这两种能力放到同一部 Android 手机上:Agent 可以观察和操作应用,也能在随附的 Debian 环境里运行命令、编写和构建代码。它更像一个面向手机的 Agent 工作台,而不是单纯的聊天客户端。

手机操作与 Linux 工作区如何衔接

Umbra 项目 README 将能力拆成几个相互配合的部分。手机侧通过 Android 无障碍服务读取界面结构,必要时使用截图,并执行点击、输入和滚动;任务也可以在后台显示中运行,让用户继续使用手机。另一侧是随发布 APK 携带的 Debian 环境,包含 bash、git、Python、Bun 等工具链,供 Agent 编写、构建和测试软件。

这意味着一个任务不必在“看屏幕”和“写代码”之间切换到两套产品:Agent 可以在手机上操作应用,再把工作交给 Linux 环境处理。项目还支持把设备文件作为快捷入口,或将设备目录挂载为会话工作目录。README 特别说明,云端文件会以副本导入;设备文件直接访问则需要 Android 的文件访问权限。

关键不在自动化,而在可恢复与可撤回

让 Agent 获得屏幕和命令能力,真正的难点不是“能不能点”,而是出了问题后如何停下、复核和恢复。Umbra 将任务设计为持久会话,支持暂停、继续、停止和后续追问;终端运行在 tmux 中,应用或 Agent 崩溃后仍可保留。重启后是否自动继续,则取决于用户是否给了对应的恢复约定,并非任何任务都会无条件自启动。

项目 README 还列出明确的高风险确认环节:付款、发送消息、删除数据、修改安全设置、安装应用和密码等操作需要用户批准。Agent 不能操作自己的应用,也不能替用户回答自己的审批请求。设置中的“Stop and take back”用于停止任务、撤销辅助能力并关闭屏幕控制;这些设计把“如何拿回控制权”放进了产品流程,而不是只留给用户自行排查。

文件和 Git 工作区同样考虑了回滚。项目说明 Git 保护默认开启,会将忽略文件和未提交改动纳入私有检查点,同时不改变已有仓库的暂存区。恢复操作会打开单独工作区,断开连接不会删除原始文件和历史记录。这样的隔离方式适合让 Agent 试验性地改动项目,但仍应在关键变更前检查差异;检查点并不等于代码审查,也不能替代备份。

从手机扩展到自有电脑

如果手机算力或工具链不够,Umbra 还提供 umbra-node,让自有 macOS 或 Linux 电脑为手机任务执行作业。项目文档给出的配对流程是先在电脑启动节点服务:

./gradlew :node-runner:installDist
node-runner/build/install/umbra-node/bin/umbra-node serve --pair

命令会打印一次性配对码;随后在手机端进入 Distributed Nodes → Pair a node,填写电脑地址和配对码。文档称两端会固定彼此证书,新节点在用户提升信任级别前不会接收任务。每个作业只可访问其 manifest 列出的文件,并受租约时长限制。可通过 umbra-node phones 查看信任的手机,以 umbra-node unpair 解除配对。

这不是把整台电脑无边界交给 Agent:节点任务按作业目录、文件清单和租约约束执行。不过,运行节点仍意味着 Agent 能在该电脑用户权限下执行被授权的作业。应使用专门的工作目录,避免把私钥、生产凭证或个人文件放入作业可访问范围,并在不再使用时解除配对。

上手前先核对设备与发布状态

项目 README 标明的要求是 Android 16(API 36),Linux 环境约需 2 GB 存储,并需要配置模型提供商。Root 是可选项:有 Root 时可使用隔离的 chroot 路径;没有 Root 时使用 proot。特权辅助功能也可通过 Root、Shizuku 或每次开机后经 ADB 启动。不要把“Root 可选”理解为所有隔离能力完全相同,具体边界应阅读项目的 ADR 文档。

安装方式是侧载 APK,而非 Play 商店分发。开发者也可按 README 的命令构建:

./gradlew :app:assembleRelease
adb install -r app/build/outputs/apk/release/app-release.apk

注意,这些是项目 README 明列的构建与安装命令;安装前仍需确认本机 Android 版本、ADB 连接和构建环境符合要求。项目的代码采用 MIT 许可证,但 README 提醒捆绑组件各自保留其许可证与声明;应用发布方式和预览使用政策也有单独文档,不能仅凭主仓库许可证推断所有组件或使用场景。

Umbra 的价值在于把手机 UI 操作、Linux 开发环境、可恢复会话和人工审批串成一条工作流。它适合愿意侧载、理解 Android 权限并希望实验移动端 Agent 的开发者;若只需要手机聊天,安装整套运行时并不划算。更重要的是,把 Agent 接入真实应用与电脑节点后,权限边界要先于自动化效率设计:限定文件、谨慎配对、逐项审批,并保留随时停止的路径。

相关链接

发表评论

你的邮箱地址不会被公开,带 * 的为必填项。