beijingwahw/dsh-computer-use-plugin

README 摘要

基于 DeepSeek Harness (DSH) 构建的 Computer Use 插件 中文 English 基于 DeepSeek Harness (DSH) 构建的 Computer Use 插件。完全摒弃底层 UI 树依赖，采用 纯视觉 Grounding 架构 ，让 AI 像人类一样通过"看"屏幕截图来理解和操作电脑。 核心特性 - 纯视觉 Grounding (Vision-Only) ：无需 Accessibility API，跨平台（Win/Mac/Linux），支持操作云端沙箱、RDP 甚至游戏界面 - Set-of-Mark (SoM) 视觉辅助 ：截图自动叠加网格、绿色鼠标准星与元素编号框，并在状态锚点中附带图例说明，消灭大模型坐标幻觉 - 智能上下文管理 ：滑动窗口 + 图像降级为文字摘要 + llm/pre-request 注入，无论截多少图，模型永远只看到最新 N 张 + 历史文字占位符 - 状态锚点协议 ：所有工具返回 {status, state anchor, next step} 三段式结构化反馈， MANDATORY 指令强制 ReAct 验证闭环 - Planner-Actor 双层架构 ： start complex task 元工具自动将长程任务拆解为原子操作并逐步执行，子任务失败即 fail-fast - 企业级安全四守卫 ：坐标边界校验、连续失败熔断、敏感操作审计、弹窗联动拦截（waterfall 短路语义） - 全量桌面操作 ：截图、点击、输入、滚动、快捷键、拖拽、标签页/窗口切换、弹窗处理 - 可插拔混合模式 ：可选接入本地视觉模型（OmniParser 类）与无障碍 Provider 获得精确坐标 世界级突破：四大自研引擎 针对纯视觉 CUA Agent 的四个真实失败模式，各以一个引擎对症击破： 失败模式 引擎 机制 盲点 ：点击落空却以为成功 行为效果验证（ perceptualHash + actionVerifier ） 动作前后各取一次整屏 dHash 指纹，汉明距离对比；相似度 0.97 判定疑似无效操作，锚点直接告警并引导 zoom inspect 复位 坐标幻觉 ：全屏估坐标误差大 二阶段定位（ zoom inspect ） 裁剪目标邻域放大重绘 2 倍密度细网格，锚点附带 crop bounds 与映射公式 full x = x0 + fx (x1-x0) ，微观定位精确映射回全屏 无跨会话记忆 ：每次从零找按钮 场景式 UI 记忆（ remember ui / recall ui ） 验证生效的点击自动沉淀为 landmark；自然语言召回（中英混合分词 + 重合系数 + 成功次数加成 + 时间衰减），召回值仅作先验、强制截图复核 不可复现 ：成功路径无法固化 行动日志与重放（ jo…

分类