MoneShadow/dsh-plugin-vision

MoneShadow★ 0JavaScriptLast synced: 2026-08-15

Open on GitHub

一个可以让没有视觉的大模型拥有视觉能力的插件(当然,是通过外挂视觉模型实现的)

README excerpt

dsh-plugin-vision 给 DeepSeek Harness 装上"眼睛"的视觉辅助插件: 注册 vision describe 工具,让没有视觉能力的主模型通过任意 OpenAI 兼容视觉 API 描述图片。 效果展示 主模型调用 vision describe 看图 (官方 Web UI 真实会话):Agent 通过工具查看本地图片并作答;同一张图、同一个提问再次调用时命中答案缓存,返回与首次逐字一致的结果,不重复消耗视觉 API。 配置 (DSH Desktop 设置面板 → 视觉助手,或编辑 /.dsh/settings.yaml 的 vision: 段):总开关、粘贴转路径开关、接口/密钥/模型/超时,以及答案缓存(开关 / TTL / 条目上限),保存即时生效。 粘贴图片自动转路径 (DSH Desktop 内置功能,非本插件实现,详见下节):在官方 UI 输入框粘贴图片 → 拦截官方附件流程 → 图片存盘 → 自动插入 [图片] /真实路径 → 主模型调用 vision describe 查看。 功能 - 工具 : vision describe(image, prompt?) —— 本地路径 / file:// / http(s) URL 均可, 本地图片以 base64 data URL 发送,返回视觉模型的文本描述 - 答案缓存 :按"图片内容哈希 + 接口 + 模型 + 提问"缓存描述结果(TTL + LRU 上限), 同一张图重复查看直接命中缓存,不再消耗视觉 API 调用;对主模型透明,错误不缓存 - 开关语义 : enabled=false 时工具仍注册但返回明确提示,主模型会据此提醒用户开启 - 配置热更新 :配置存 /.dsh/settings.yaml 的 vision: 段,引擎监视文件变化, 保存即时生效(无需重启引擎) - 密钥安全 :apiKey 以 secret 角色存储(官方设置 UI 中 write-only 不回显) 与 DSH Desktop 的配合(重要:粘贴转路径不是本插件的功能) "粘贴图片自动转路径"由 DSH Desktop (桌面端)内置实现,不是本插件的一部分 ——它是 UI 层功能: - 为什么不在插件里 :粘贴事件监听必须在浏览器 UI 层,而插件运行在引擎 (dsh 进程)侧,无法感知浏览器粘贴操作 - 配置共享 :该功能的开关 autoPath 存在同一段 settings.yaml 的 vision: 段, 由 DSH Desktop 读取并控制注入行为;本插件仅同步声明该字段,不实现功能 - 只安装本插件(不使用 DSH Desktop)时:没有粘贴自动转路径,需要手动把图片 路径/URL 传给 vision describe 可用性分层 层 说明 工具层 引擎侧注册,…

View full README on GitHub →
Media / Contentdeepseek-harnessdsh-pluginvisionweb uiagent

Category