Yu-tao-Li/computer-use-win

README excerpt

computer-use-win — 给 DeepSeek Harness 装上 Windows 电脑操控能力 English: A Windows computer-use plugin for DeepSeek Harness ( dsh ): an MCP stdio server backed by a PowerShell UI Automation engine. It gives the agent 22 desktop tools — accessibility tree, window-cropped screenshots, mouse/keyboard input (foreground + verified background paths), OCR with word boxes, window management, coordinate homing, an identity guard, and a physical-cursor failsafe. Bridges into DSH through the in-box @deepseek-ai/dsh-mcp-client ; no DSH modifications. 中文 : 一个 MCP（Model Context Protocol）stdio 服务器 + PowerShell UIA 后端 ，让 DSH agent 能 "看"（UIA 无障碍树 + 截图）和"做"（鼠标 / 键盘 / 语义点击）Windows 桌面应用。 通过 DSH 内置的 @deepseek-ai/dsh-mcp-client 桥接进 DSH， 无需改 DSH 本体 。 截图 窗口裁剪截图 + UIA 树（ snapshot ） OCR 回退（中文界面识别 + 词框坐标） 原理（为什么这样做） 1. 为什么走 MCP 桥接，而不是原生 DSH 插件 - DSH 一切皆插件，但"注册新工具"需要写 Cordis 插件（注册进 ctx.tools 、 处理审批与权限钩子、打包成 dsh.bundle ）。MCP 是更薄的边界： 官方 dsh-mcp-client 会把任意 MCP server 的工具 原样注册 成 mcp （serverName 我们在 patch 里取 wincu ）。 - 好处：后端独立进程、独立语言、可单独测试（ --self-test ），坏了不影响 DSH 启动 （ failOnStartupError: false ）。 - 代价：MCP 工具没有 DSH 原生的审批/风险分级钩子，所以安全机制做在 server 内部 （scope 限定、窗口定位、动作前观察）。 2. 感知：UIA 无障碍树（text-first） Windows 上比"截图像素"更可靠的是 UI …

Category