Altairpaca/dsh-computer-use-windows

README 摘要

DSH Computer Use (Windows) Windows Computer Use for DeepSeek Harness: window-bound screenshots, robust OCR, verified clicks, pure-OCR mode, and pluggable vision models. 为 DeepSeek Harness 提供的 Windows 电脑控制插件:窗口绑定截图、健壮 OCR、带验证闭环的点击、 纯 OCR 模式、可自由配置的视觉模型。 填补 DSH 生态 Windows computer use 的空白。 为什么存在 DSH 生态里已有 Anionex/dsh-computer-use(macOS, Accessibility-first)与一批 vision 插件,但 Windows 上没有语义优先的 computer use 插件 。 本项目把 2026-08-15 真实实验(操作保险"云助理"客户端提取客户数据)的教训固化为插件: 实验中最致命的三个问题,全部来自"盲坐标"工作流: 1. VLM/OCR 估坐标 → 点击系统性偏移("识别偏上、行为偏下"),点错入口; 2. 全屏截图混入其他窗口 → OCR 结果被无关文字污染,坐标张冠李戴; 3. 无验证闭环 → 每次点击都是盲试,靠人工盯着纠正。 本项目用四条原则解决它们: - 窗口绑定 :所有截图/OCR/点击都在一个目标窗口的坐标系内,点击时自动回加窗口偏移; - 文字即坐标 :提供 click text ,用 OCR 定位文字再点击——模型不再需要猜坐标; - 验证闭环 :每次点击后自动截图 + OCR 校验预期状态,失败按偏移网格重试,返回证据; - 可配置感知 :视觉模型可插拔(任意 OpenAI 兼容端点),也可以完全关闭—— 纯 OCR 模式 下全部操作不依赖任何视觉模型,零外部 API。 功能特性 能力 说明 computer screenshot 全屏或 目标窗口 截图,返回窗口 rect 与坐标空间信息 computer ocr WinRT OCR(中文/英文),逐词坐标,窗口外词自动过滤,模糊匹配查询 computer click text 按文字点击:OCR 定位 → 点击 → 验证 → 失败重试(偏移网格) computer mouse / computer keyboard 绝对坐标注入、拖拽、滚轮、剪贴板输入 computer window 窗口枚举/聚焦/定位,句柄动态解析,前台校验 computer use run 批量动作一次调用(点击+输入+验证) computer vision (可选) 可插拔视觉:opencode-go / 任意 OpenAI 兼容端点 / 关闭 computer calibr…

分类