lak321/dsh-screen-agent

README 摘要

DSH Screen Agent — 屏幕识别 / UI 自动化 / 画图 给 DeepSeek Harness 增加 桌面与网页自动化 能力： - 📸 截图 ：全屏/多显示器截图 - 🔍 OCR 识别 ：Windows 内置 OCR（本地、无网络），提取文字 + 精确像素坐标 - 🖱️ 鼠标控制 ：点击/双击/右键/拖拽（多显示器副屏负坐标支持） - ⌨️ 键盘控制 ：中文安全打字（剪贴板+Ctrl+V）、SendKeys 按键、窗口激活 - 🎨 画图能力 ：操作 Windows 画图工具绘制图形（经过实战打磨：鼠标加速度补偿、画布定位、曲线绘制） 纯 Host 插件 ，Windows 平台，零第三方依赖（PowerShell + user32 / WinRT OCR）。 功能 屏幕识别 - capture ：全屏（含副屏）截图 → PNG + base64，截图存 /.dsh/screenshots/ - ocr ：Windows OCR 输出每行文字 + 中心像素坐标（可直接用于鼠标点击） UI 自动化 操作 说明 click / double / right 鼠标左键/双击/右键点击（x,y 像素坐标） drag 按住拖动（含 Shift 拖拽：画正圆等） type 输入文字（中文安全：剪贴板 + Ctrl+V） key 按键（SendKeys 语法，如 ^c 、 {ENTER} 、 {ESC} ） activate 按窗口标题激活窗口 画图（Paint） - 画布定位 ：UIA 确认画布控件位置（会漂移），内容画在控件中心 - 画笔大小 ：画布左侧滑块（UIA RangeValuePattern 0-90） - 曲线绘制 ：处理了 Windows 鼠标加速度 （SendInput 相对位移被非线性放大）——临时关闭加速度 + 位移 ÷1.25 补偿，画完恢复 - 直线 用 SetCursorPos（绝对精确）； 曲线/椭圆 用 SendInput 相对移动 + 补偿 - 实战验证：在画图里画碗/鸭子等图形（完整椭圆 + 贝塞尔轮廓 + 圆柱底座） 安装 一条命令（git 源，产物已入库，无需构建）： 换成最新提交号（见仓库主页）。或本地目录： cd dsh-screen-agent && dsh plugin --profile web add . 装完 重启 DSH （ npx -y @deepseek-ai/dsh web ）生效。 兼容 DSH Profile： web 。 旧的手动复制 host/ 并注入 cordis.patch.yml 的方式已废弃，由 bundle 层栈安装替代。 使用 - 截图： POST /api/screen { "op": "capture" } - OCR： POST /api/screen { "o…

分类