JasonWei04/dsh-computer-use

README 摘要

dsh-computer-use · 让 DeepSeek Harness 学会操作电脑 DSH computer use plugin — give your DeepSeek Harness (text-only LLM) real desktop control: screenshot / screen-record → Xiaomi MIMO vision analysis → mouse / keyboard / window / program control → autonomous loop until the task is done. [!IMPORTANT] 安装本插件前，必须先安装 @linxin666/dsh-web-ui-all（dsh-web-ui 全家桶） ，本插件基于其 defineTool / installSettingsSection / systemPrompt.section 框架能力开发，缺少全家桶将无法加载。 纯文本模型通过「 截屏/录屏 → 视觉模型看屏幕 → 真实键鼠操作 」的闭环，获得真实的电脑操作能力：打开程序、点击界面、输入文字、拖拽滚动、操作微信，甚至 自主循环 完成一个完整任务。 ✨ 特性 - 🖥️ 真实桌面控制 —— 不是模拟器，直接操作你的 Windows 桌面：鼠标、键盘、窗口、进程 - 👁️ 多模态视觉 —— 基于 Xiaomi MIMO 视觉模型（OpenAI 兼容端点）理解屏幕内容与元素坐标，让纯文本模型"看得见" - 📹 截屏 + 录屏双观察 —— 静态场景（看页面布局）用 computer screenshot ；动态场景（滚动、滑动、动画、加载，如微信下滑找朋友圈）用 computer record 录屏抽帧一次看清，避免反复截屏浪费时间 - 🧹 临时文件自动清理 —— 截屏分析完、录屏分析完、 computer use 循环结束时，自动删除过程中产生的临时截图与录屏帧，不留垃圾文件 - 🔁 自主循环 —— computer use 工具：给定任务描述，自动执行「观察（截屏或录屏）→ 视觉决策 → 操作 → 再看」直到完成，观察方式由 MIMO 按场景自动选择 - 🧩 web ui 家族框架 —— 与 @linxin666/dsh-web-ui 全家桶完全一致： defineTool + installSettingsSection + systemPrompt.section + mountOnce 单实例守卫 - 📦 零依赖自包含 —— C 助手源码 内嵌在 index.js 里 ，首次使用自动写入工作区并用系统自带的 csc.exe 编译，无需安装任何运行时 - 🔐 密钥不落盘 —— MIMO API Key 只从环境变量读取，绝不写入插件文件 🧠 工作原…

分类