Junkrat9527/dsh-desktop-automation

README 摘要

dsh-desktop-automation macOS 桌面自动化 dsh 插件：让 dsh 的 agent 能直接控制桌面——鼠标/键盘/滚动/应用/窗口/截图，并整合 视觉闭环 （截图 → 识图 → 定位 → 点击 → 验证）。 主模型多模态/纯文本均可使用 ：截图走系统 screencapture （屏幕录制已授权）；识图/定位复用 dsh 视觉凭据（ OPENCODE GO API KEY ），与 dsh-autovision 共用同一套凭据，无需单独配 key。 它解决什么问题（主要功能） 浏览器自动化（playwright 等）只能操作网页； 非浏览器的桌面软件 ——剪辑工具、设计软件、办公套件、系统设置、原生 App——一直够不着。这个插件把「agent 操作 macOS 桌面」补上：agent 像人一样看屏幕、移鼠标、敲键盘。 核心场景 ： - 操作非浏览器应用 ：剪映/PS/Axure/WPS/企业内部原生客户端——「点这里、填这个、导出那个」直接吩咐 - 自动化办公 ：批量重命名、表单填写、重复性 GUI 操作、跨应用搬运数据 - GUI 测试/验收 ：对桌面软件跑「截图→操作→再截图验证」的闭环，替代人工点检 - 远程指挥 ：人在别处，让 dsh 在 Mac 上替你完成桌面操作 - 视觉定位点击 ：不依赖 accessibility 树的软件也能点——截图交给视觉模型拿坐标，直接点 一句话 ：给 agent 一双看屏幕的眼睛（desktop see/desktop locate）和一双手（desktop click/type/key/drag/scroll）。 能力 注册 14 个 agent 工具 （模型可直接调用）： 工具 说明 desktop perm 权限/服务状态自检 desktop apps 列出运行中应用 desktop win 列出窗口（含坐标/尺寸） desktop app 激活应用（需先启动） desktop mouse 移动鼠标 desktop click 点击（左/右/次数） desktop drag 拖拽 desktop scroll 滚动 desktop key 按键/组合键 desktop type 输入文本（中文 OK，Unicode 注入） desktop shot 全屏/区域截图 desktop see 识图：描述图片/OCR/UI 元素（复用 dsh 视觉凭据） desktop locate 视觉定位：输出可交互元素 type/text/box/center 坐标 desktop stop 停止服务 HTTP 路由： /desktop/status /desktop/start /desktop/stop /desktop/check /desktop/authorize （设置卡片用）。 视觉闭…

分类