JollY-Life/jolly-dsh-vision

README 摘要

jolly-dsh-vision ModLens 风格的视觉桥接插件： 一个纯文本大模型当大脑，一个视觉模型当眼睛 （默认 deepseek-v4-pro + deepseek-v4-flash-vision-exp）。 大脑看不到像素。本插件提供两条视觉通路： 1. vision 工具 ：传入图片路径或 URL，工具把图片存进附件库，通过 harness 的 LLM seam 调眼睛模型，返回一份 modlens 式结构化证据 JSON （summary / ocr / layout / semantics / visual / uncertainty），大脑引用证据作答而不是猜图。 2. 视觉版模型（"(ds vision)" 孪生） ：在模型选择器里出现 DeepSeek-V4-Pro (ds vision) 等视觉孪生条目——选中后 可以直接在输入框粘贴/拖入图片 ，插件在请求发出前自动把图片转成证据文本再交给大脑。 参考实现：liustack/modlens（MIT 许可；本项目的证据词汇与包装器机制派生自它，见 THIRD PARTY NOTICES.md）。 架构 与 modlens 的差异 @liustack/modlens jolly-dsh-vision 视觉引擎调用 spawn 自带 CLI 子进程 直接走 harness 的 ctx.llm seam 引擎/密钥配置 独立 /.modlens/config.json ，自管多家引擎 复用 settings.yaml （模型目录）+ 凭据 seam（API key 环境变量） 运行时依赖 commander + undici 零依赖 （纯 node 内置模块，无构建步骤） 工具 modlens read image vision （可配置改名） 视觉孪生 有（自动发现多条路由） 有（单路由，默认包裹一条上游的纯文本模型） 粘贴转路径（浏览器注入） 有 无（孪生模型直接解锁贴图，无需转路径） 大脑引导 无 有（系统提示词区段，教大脑何时调工具/何时引用已转换证据） SSRF 防护 无 有（默认拒绝内网/环回/链路本地，可配置） 零依赖是刻意的：树外 DSH 插件无法可靠解析 @deepseek-ai/ 包（modlens 的 dsh/index.js 注释也确认了这一点），所以工具定义走原始 JSON-Schema 注册路径、消息/流块/适配器全部鸭子类型化。 文件结构 安装 从 npm（发布后） 从本地路径（开发 / 未发布时） dsh plugin add 会把依赖写入 profile 的 package.json；该包带 dsh.bundle.patch 清单，会被加入 dsh.profile.bundles （如未自动加入，手动确认 dsh.profile.bundles 包含 j…

分类