让 AI Agent 看见摄像头，但不替你做决定：Senseplane 的自托管感知层
AI Agent 通常只能“看见”用户贴进对话的文字与文件；若要理解真实环境，例如门口是否有包裹、设备是否发出异常声音，就需要接入摄像头或传感器。Senseplane 是一个 Apache-2.0 许可的早期项目，定位为运行在自有设备上的感知服务：连接已有摄像头、麦克风或传感器，再通过 MCP、REST API、Webhook 与 TypeScript SDK 向 Agent 提供观测能力。
它强调 perception（感知），而非替 Agent 自动做决定。README 将体验概括为 Look、Watch、Ask、Measure、Replay：查看当前画面、订阅条件事件、提问、统计活动并回放片段。项目明确标为 early（v0.2），因此适合隔离环境试用和自行运维的团队，不宜未经评估直接用于关键安防。
从传感器到 Agent：两种 MCP 接入方式
Senseplane 把媒体接入、分析、API、MCP 与控制台拆分为不同组件。官方快速路径使用 Docker Compose 在单机启动；自托管 VM 指南推荐 Linux VM，参考配置为 4 vCPU、8 GB RAM，面向最多约 4 路摄像头。这个数字是部署建议而非容量保证，实际表现还取决于编码格式、分辨率、录像保留周期和分析负载。
MCP 服务提供十个工具，包括 list_senses、look、listen、read_environment、watch_for、what_happened、measure、check_history、replay 和 stop_watching。本地 stdio 模式由 MCP 客户端启动进程，并使用 API key；远程模式使用 Streamable HTTP 与 OAuth 授权流程，用户可选择允许访问的摄像头、传感器与能力。官方文档还说明，没有音频权限时，音频相关操作会被拒绝。
本地 stdio 配置示意如下，需先按官方指南构建项目，并将路径和 API 端口替换为实际部署值：
{
"mcpServers": {
"senseplane": {
"command": "node",
"args": ["/path/to/senseplane/mcp/dist/stdio.js"],
"env": {
"SENSEPLANE_API_KEY": "${SENSEPLANE_API_KEY}",
"SENSEPLANE_API_URL": "http://localhost:58080/v1"
}
}
}
}
配置结构来自官方 MCP 接入指南；环境变量插值是否生效取决于 MCP 客户端，不支持插值时应使用该客户端的安全注入机制，避免把真实密钥写进仓库。远程服务则使用部署域名下的 /mcp 路径，并经 OAuth 授权页确认权限。选择本地或远程模式时，应把 API 与 MCP 端口、TLS、身份认证和网络暴露范围一并纳入部署检查。
先观察、再决定
一个克制的试点可以从“门口有包裹时提醒我”开始：连接摄像头，在控制台只授权 Agent 读取指定来源，再建立 watch。事件触发后，Agent 可以调用 what_happened 获取事件信息与证据；使用者确认误报水平、摄像头覆盖范围和权限边界后，再决定是否接入后续工作流。不要把示例场景误当作产品对识别准确率的保证，真实环境需要自行测试。
把观测、判断和执行分开尤其重要：Senseplane 提供观测与证据，不代表模型结论天然准确，也不应默认让它控制门锁或执行其他高影响操作。较稳妥的架构是由服务记录事件，Agent 解释信息，外部动作再交给独立策略或人工审批。权限应从只读、最小来源范围开始，并能随时撤销。
自托管也不会自动消除隐私与安全责任。官方 VM 指南要求部署者考虑合法摄像头使用；运维时还需安排录像保留、备份、访问审计、模型 API 的数据处理方式与网络暴露面。录像会随摄像头数量和保留天数累积占用，应先测算存储预算，并妥善备份密钥、数据库及需要保留的媒体数据。试点阶段建议选非敏感场景、缩短保留周期、限制公网入口，并定期检查访问日志。
适合谁，暂时不适合谁
如果团队希望让 Agent 在明确授权下查询现实环境，而且具备自托管、网络配置和持续评估能力，Senseplane 展示了一种值得实验的 MCP 感知层：实时画面、事件和历史回放通过统一接口提供，同时由服务端管理访问范围。
但它不是开箱即用的家庭监控承诺。项目仍处于早期版本，摄像头兼容性、分析质量、部署安全与存储维护都需要实测。若需求只是让 Agent 看几张用户主动提供的图片，直接调用现有视觉 API 往往更简单。Senseplane 的价值在于为持续的环境观测建立可检查、可撤销的边界；是否值得引入，应由具体场景的风险、成本和维护能力决定。