afa-cloud/desktop-gui-automation-cua

README 摘要

desktop-gui-automation-cua 给 AI agent 用的 macOS 桌面 GUI computer-use 技能包：用 cua-driver 驱动任意本机应用（点击 / 输入 / 滚动 / 拖拽 / 截图），自动做 AX → 像素 → 桌面 三档降级。对微信 4.x、iPhone 镜像、Blender/canvas 这类 AX 树为空或极稀疏 的软件尤其有用。 开箱即用的目标： git clone → install.sh → 在系统设置授权 → 配一个多模态 key → 就能让它驱动你的桌面 。 双形态发布 ：本仓库同时提供 skill 形态 （SKILL.md + scripts，装进各 agent 技能目录）与 DSH 插件形态 （ plugin/ ，通过 /cua 命令挂进 DeepSeek Harness）。二者 共享同一份 scripts/ 单一事实源 —— skill 用符号链接、插件用子进程调用， 都不复制脚本 ，因此 改一次仓库两端立即一致，不会随迭代漂移。见文末「双形态与更新」。 特性 - 泛用 ：一套脚本驱动任意 app（ computer use.py ），不绑定具体软件 - 三档自动降级 ：AX-token（后台不抢焦点）→ 窗口像素（聊天区/canvas）→ 桌面纯视觉（iPhone 镜像） - 识图定位 ：内置 vision.py 走任意 OpenAI 兼容多模态端点，做视觉定位与结果验证 - App 案例配方 ： send wechat.py （微信发消息）、 iphonemirror.py （iPhone 镜像操控） - 可移植 ：全部脚本只用 Python 标准库；识图端点完全可配置 文档 文档 内容 docs/overview.md 原理与设计（AX→像素→桌面三档降级、Skyshot/取证、识图、安全） docs/app-guides.md App 实操教程（原生 app / 微信 / QQ / iPhone 镜像）+ 排障 docs/reference.md 脚本 / API / 依赖 参考 安装（macOS） 给 AI agent 的一条指令（给你的 Claude / Codex / DSH agent 说这句，它就能自动装）： 请安装 desktop-gui-automation-cua： git clone https://github.com/afa-cloud/desktop-gui-automation-cua.git && cd desktop-gui-automation-cua && ./install.sh 。装完告诉我需要我提供多模态 API key、以及在「系统设置 → 隐私与安全性 → 辅助功能 / 屏幕录制」授予 CuaDriver 和本 agent 的权限。 装…

分类