xuanyuanluoxue/computer-use-vision

README 摘要

Computer Use Vision — DSH 插件 Windows 桌面「识图 + 模拟操作」能力，作为 DeepSeek Harness 插件运行。 让纯文本模型（DeepSeek、MiMo 等无多模态能力的 LLM）也能： 1. 看屏幕 ：截图 → 调外部 vision 模型（默认阿里云百炼 qwen-vl-max）→ 得到文字描述和坐标 2. 操作电脑 ：SendInput 模拟鼠标点击/拖拽、键盘快捷键/文字输入 3. 越用越聪明 ：内置自进化应用技巧库（ knowledge/ ），每次使用后沉淀新快捷键、新坑位、新解法 出处与致谢 本插件的 Skill 层源代码 （SKILL.md、scripts/、knowledge/）取自： wimi321/windows-computer-use-skill 一个面向 Windows 的顶级 computer-use skill，内置独立 runtime 与 MCP server。 原项目采用 MIT 许可。 本插件在此基础上做了以下改动： - 适配 DSH 插件体系 ：将 skill 内容封装为 ctx.skills.register() 注册，新增 defineTool 工具层（computer-see/click/rightclick/drag/type/key/scroll/knowledge） - 双模式支持 ：插件模式（工具注册）+ 纯 skill 模式（pwsh 回退） - ESM/CJS 兼容修复 ： assets/scripts/package.json 强制 vision.js 按 CommonJS 加载，解决 DSH 仓库内 "type": "module" 导致的 require is not defined 问题 - 自进化知识库保留 ：knowledge/ 目录原样保留，agent 操作后可继续沉淀经验 - DSH bundle manifest ：添加 dsh.bundle + cordis.patch.yml ，支持 dsh plugin add 一键安装 感谢 wimi321 的原始工作。 架构 本插件遵循 DSH 的 skill + tool 混合形态 ： 工具参考 工具名 作用 典型参数 computer-see 截图 + vision 模型描述 prompt , window title? computer-click 鼠标左键点击 x , y computer-rightclick 鼠标右键点击 x , y computer-drag 鼠标拖拽 from x/y , to x/y , modifiers? computer-type 文字输入（剪贴板） text computer-key 键盘快捷键 keys （如 "Ctrl+A" ） computer-scr…

分类