zouyuanqing/dsh-vision-primitives

README excerpt

dsh-vision-primitives Native interactive visual-reasoning plugin for DeepSeek Harness (DSH). 给纯文本智能体装上"精确的眼睛":以 Set-of-Mark 编号网格 + 确定性像素坐标数学 为核心,让 Harness 智能体对屏幕/图片做精确到像素的视觉交互推理 —— 全程零外部 MCP 服务器,视觉推理内核 100% 在 DSH Host 运行时内以纯 JS 执行。 Design inspired by vision-primitives-mcp, re-implemented as a native DSH plugin (dynamic Cordis plugin, Host-only package). 特性 🧠 智能体即视觉模型 插件产出图片路径 + 确定性坐标数学;Harness 多模态智能体(或内置 MiMo 后端)看图决策,插件把"模糊感知"换算成"精确像素" 🎯 SOM 编号网格 vision grid 叠加编号网格 → vision resolve(cell) 得格子中心精确坐标,消除视觉模型坐标误差 🔍 局部无损放大 vision zoom 最近邻放大(像素级保真),保留到原帧的坐标映射链 📐 几何验证 vision annotate / vision measure / vision diff / vision find color / vision ocr 确定性验证 🖥️ MiMo V2.5 后端 vision describe / vision locate (多模态理解 + 视觉定位),并注册 mimo 模型路由(LlmAdapter,流式/函数调用/图像输入全支持) 🧱 最小 OS 边界 仅截屏 / OCR / 二进制落盘 3 类走 Host 原生 subprocess 服务调用 Windows PowerShell 系统脚本;不含桌面键鼠控制 🔒 零硬编码密钥 MiMo API key 从 DSH credentials 惰性读取,不写入源码 安装(官方 profile bundle 方式) 纯 JS 包,无 build 脚本,无需 pnpm allowBuilds 许可: 然后启动 DSH 即可;插件注册 vision 工具集到当前会话。 也支持 github:zouyuanqing/dsh-vision-primitives 固定版本安装。 该包同时是一个 npm 包( dsh-vision-primitives ), dsh plugin add dsh-vision-primitives 也可。 配置 MiMo 后端(可选) vision describe / vision locate 与 mimo 模型路由…

Category