xiaozs-com/dsh-screen-automation

README 摘要

dsh-screen-automation 把本地「屏幕自动化小助手」(Screen Automation Helper) 桌面端桥接成 DeepSeek Harness (dsh) 的 Agent 工具插件。 让 dsh 里的 Agent 能直接确认平台状态、截图与本地识别、驱动本机鼠标键盘、管理自动化流程—— 而真正的本地屏幕观察与执行，仍由你自己的小助手完成。 这不是重写屏幕自动化，而是 桥接 ：dsh 负责 Agent 编排，小助手负责本地执行。 ⚠️ 前置依赖 ：本插件只是一层桥接， 本机必须先独立安装「屏幕自动化小助手」桌面端 （Windows .exe / macOS .app ），30 个工具才能真正工作。安装方式见下方「前置依赖：安装屏幕自动化小助手」。 设计原则 - 桥接而非重实现 ：dsh 插件只做「定位二进制 → 调 CLI → 解析 JSON → 回传」，智能只写在后端。 - 全能力桥接 ：不人为限制 Agent。workflow 全生命周期、本机输入控制、各类识别原语、 以及把截图喂给 dsh 视觉模型的 screen automation understand 全部暴露。小助手就是 Agent 在本地延伸的手和眼。 - 识别阶梯（廉价本地优先） ：OCR / 模板匹配 / 颜色区域 / 轮廓这些 免费本地方法作为一等公民 ，能解决就不升到 VLM，省 API 费用。VLM 是按需升层，不是默认路径。 - 本地算力 ：所谓「本地」包含本地算力。想免费推理时，把本机视觉模型（Ollama / llama.cpp + Qwen-VL / DeepSeek-VL）注册成 dsh 的一个 provider，再传给 understand 即可。 架构 平台 CLI 与 Windows/macOS 共用同一套命令，且标准输出为 JSON，因此桥接层只需要： 定位二进制 → 调 CLI → 解析 JSON → 回传 。 暴露的工具（共 30 个） 1. 平台自检与流程生命周期 工具 映射的 CLI 说明 screen automation status cli status 平台是否可用、版本等自检 screen automation capabilities cli capabilities 平台能力清单 screen automation list workflows cli workflow list 已安装流程 screen automation run workflow cli start-workflow 运行流程（支持 count / dry run ） screen automation stop run cli stop --run-id 停止某次运行 screen automation list runs cli runs …

分类