988hj7tczd-oss/dsh-computer-use

README excerpt

dsh-computer-use DeepSeek Harness 的 Computer Use 插件 —— 给 harness-desktop 增加" 虚拟鼠标真人操作 "能力： AI 生成独立光标，像人一样看屏幕、移动、点击、输入，替用户操作电脑。 跨平台（macOS / Windows / Linux），引擎基于 cua-driver（MIT 开源，MCP 标准接口）。 ✨ 能力 工具 功能 screen observe 看屏幕：AX 编号树 + 坐标（零视觉 token 成本）；AX 树为空自动降级视觉 computer click / computer double click / computer right click 真人操作 ：独立光标滑行到目标 + 像素级真实点击（看得见过程） computer type 文本输入（密码框自动拒绝） computer key 按键 / 快捷键（return、cmd+c…；聊天窗口回车发送） computer scroll 滚动 computer drag 拖拽 computer wait 等待 app list / app launch 列出 / 启动应用 核心设计 ：AX 树只用于"看"（定位元素坐标），所有操作走 像素级虚拟光标 ——光标滑行动画 + 真实点击，模拟真人操作。内置 彩虹渐变动态光标 主题（可自定义）。 🛡 安全设计 1. 虚拟光标隔离 ：操作走 cua-driver 的独立 Agent 光标，不抢真实鼠标 2. 观察快照 TTL ：快照约 15 秒过期，过期后动作被拒绝，必须重新观察（引擎侧 element token 双重校验） 3. 区域限制 ：可选 allowedApps 白名单，名单外的应用操作一律拒绝（fail closed） 4. 危险操作审批 ：目标标签命中"删除/支付/转账/退出登录…"危险词时，经 dsh 审批服务征询用户，未批准不放行 5. 敏感输入保护 ：密码框（AXSecureTextField）拒绝自动输入——密码/密钥永不让模型接触 6. 无快照拒绝 ：任何动作必须先 screen observe ，杜绝盲操作 ⚠️ 作用范围说明 ：危险词审批与密码框保护基于观察到的 元素标签 ，仅对 element 编号模式生效； x/y 坐标模式与无目标输入（ computer type / computer key 落到前台应用）无法预知目标内容，由快照 TTL 与"操作可见"兜底。 computer key 不校验快捷键本身（如 cmd+q 等系统快捷键），请勿授予不可信模型。这是设计取舍：安全优先级 = 元素语义 坐标盲操作，但坐标模式保留了真人可视操作的自由度。 📦 安装 前提： - harness-desktop（含 dsh rc 运行时） - cua-d…

Category