Claude Code 能改仓库、跑测试,却进不了你正在剪的 DaVinci 时间线;Codex 写完脚本,导出对话框、Finder 打包、Slack 发送还得你自己点。电脑上大量「有界面、没 API」的活,coding agent 至今够不着。
下文的 Braus 补的是「操作桌面软件」这一块;编程 Agent 周边的其他工具,整理在AI 编程 Agent 生态全景里。
Braus 想补上这一块:在 macOS 上给 agent 单独开一块「桌面工位」——把目标窗口挪到虚拟显示器上操作,你的鼠标和主屏继续干别的。既可在 Braus 里建 worker,也能通过本机 MCP 把 Claude Code / Codex 接进来。资料查阅于 2026 年 10 月 17 日。
它解决什么场景
官方演示里有两条完整链路(剪辑过、加速过,真实跑通大约 25 分钟量级):
- 在 DaVinci Resolve 里把片段调成黑白 → 导出 → Finder 打 ZIP → Slack 发出去;
- 用 Chrome 在 X 上搜 computer-use 相关帖子,整理成草稿。
共同点是:跨多个桌面 App、对话框、导出流程,中间没有统一 API。Braus 的卖点不是「再做一个聊天框」,而是让已有软件变成 agent 的工具面。
产品是什么
- 仓库:ForteAI-Org/braus(查阅时约 21 星,GitHub API;项目较新,2026-09-09 建仓)
- 许可证:Apache-2.0(含 Driver / Perception / Engine 库,可嵌入自有 macOS 项目)
- 站点:braus.ai · 介绍文:Introducing Braus · 文档:braus.ai/docs
- 最新包:Release v1.0-4(2026-10-13)
Braus-1.0-4.dmg(更早的 v1.0-1 资源名还是 Mecum,已更名) - 平台:macOS 15+;Apple silicon / Intel 均可安装,但官方写明 Intel 未做验证;文档列出的验证机是 M4 MacBook Pro 上的特定系统构建
- 实现:Swift 6.4,主题标签含 computer-use、mcp、desktop-automation
内核大致四块:
| 模块 | 做什么 |
|---|---|
| Driver | 把 App 窗口挪到虚拟显示器,把 agent 输入路由过去,尽量不抢你的主光标 |
| Perception | 把当前界面变成结构化文本(像素 + 可用无访问性信息),降低纯截图喂模型的 token |
| Brain | 随使用积累各 App 控件、关系、跳转的地图 |
| Memory | 本机 SQLite 存交互与结果;Recall 仍在打磨,一致性官方自己也说不稳定 |
兼容框架现状:AppKit、Chromium、Electron、Qt;Adobe UXP 在开发中。Catalyst / OpenGL 一类界面,官方基准里效果检查成功率很低——别指望开箱就控一切。
怎么装、怎么接 MCP
- 从 Releases 下 DMG,装好打开 Braus。
- 在 App 里 Create Worker → 接模型提供商 → Allow Mac Access(屏幕录制 / 辅助功能等,按系统提示逐项批)。
- 第一次务必用可丢弃的测试文档(官方建议 TextEdit):写清「哪个 App、改什么、哪里停、别动什么」。
- 要用 Claude Code / Codex:保持 Braus 开着 → MCP → MCP Connections… → 添加客户端 → Enabled 等到 Ready → 复制 App 生成的命令(不要手抄过期模板)。
Claude Code 形态大致是(路径与 UUID 以 App 生成为准):
claude mcp add --scope user --transport stdio braus -- \
"/Applications/Braus.app/Contents/Helpers/braus-bridge" \
mcp-bridge --connection \
"/Users/YOUR_USERNAME/Library/Application Support/Braus/MCP/CLIENT_UUID.connection.json"
Codex 用 codex mcp add braus -- … 同一套 bridge。客户端与 Braus 必须在同一台 Mac;桥是 STDIO,不需要再装 Node/Python。每个 connection 只服务一个活跃客户端;*.connection.json 不要外传。
模型费用另算:Braus 本身免费,远端可走订阅、API Key 或本机 Ollama 一类;窗口转文本在本地跑,远端模型收到的是结构化文本与任务上下文(具体工具仍可能回传截图,取决于连接配置)。
几个值得记住的细节
- 多 worker:可建多个,但桌面控制权轮流排队,不是真并行狂点。
- 焦点抢夺:部分 App 启动或弹窗仍会抢焦点;Braus 会尝试恢复你的窗口,恢复失败则 run 可能暂停。
- Stop 不撤销:停 worker 不会回滚已经点过的操作——导出、发送这类副作用要自己盯。
- Token 对比:相对 Cua Driver 0.34.0 的「截图 + AX 树」整屏读,官方测到估计 token 少约 67.5%–95.4%(中位约 351 vs 2156)。这是单次工具响应上下文量,不是账单或任务成功率。
- Seat 状态:非验证配置会显示 Seat: Not Validated,动作仍会记状态,心里有数即可。
和「截图 computer-use」差在哪
市面上不少方案把整屏截图丢给多模态模型再点坐标。Braus 走的是 虚拟显示器工位 + 结构化界面文本:你的主屏不被 agent 光标长期霸占,工具响应也声称更瘦。代价是 Perception 必须读懂具体 UI 框架——这解释了为什么官方兼容表写得很克制,而不是「支持所有 Mac App」。第一次任务请故意选 TextEdit 只读摘要,用 /mcp 确认工具列表后再升级到导出类副作用操作。
优点
- 真正对准「无 API 桌面软件」的 computer-use,而不是只包一层终端。
- 开源到 Driver 层,Apache-2.0,方便审代码、二次集成。
- 本机 MCP 一键生成配置,对已有 Claude Code / Codex 工作流侵入较小。
- Perception 走结构化文本,比纯截图更省上下文(在官方基准设定下)。
不足
- 星数与生态仍早期(查阅时约 21 星),Issues 少也意味着踩坑社区还薄。
- 强依赖 macOS 15+;Intel 与多数版本组合未验证。
- Perception 会漏控件;兼容性跟 App、版本、任务绑死,复杂 UI(游戏引擎、部分 GPU UI)成功率难看。
- 长任务(剪辑导出一类)耗时长,中途暂停需要人盯;Stop 不 undo。
- Brain / Memory 的 Recall「仍不一致」——别当成稳定 SOP 引擎。
适合谁 / 不适合谁
适合:已经在用 Claude Code 或 Codex、日常卡在「导出对话框 / 设计软件 / 无 API 客户端」的 Mac 用户;愿意用测试文档小步验证、能接受早期软件毛边的人。
不适合:Windows / Linux 主力;只想网页聊天、从不给本机桌面权限的人;指望「一句话稳定操控任意商业套件」的人——先读 兼容性说明 再装。
若你只是让 agent 改代码、跑测试,继续用终端即可;若剪辑、办公客户端、内部 Electron 工具占掉半天手工,Braus 值得花一个下午从 TextEdit 只读任务验通 MCP。


