shinjiyu/dsh-plugin-multimodal

shinjiyu★ 1TypeScript最后同步: 2026-08-15

在 GitHub 打开

Vision sidecar for DeepSeek Harness: accept pasted images on text-only models.

README 摘要

dsh-plugin-multimodal DeepSeek Harness 官方线路是 纯文本 。Web 里贴图会被拒: 当前模型不支持图片 。 这个插件补的是 贴图准入 ,不是视觉工具箱。 1. 主模型本身收图(Claude / GPT / 自建视觉网关)→ 原样把图交给模型,不转文字 2. 主模型是纯文本(官方 DeepSeek)→ GUI 先收下图,sidecar 转成文字再发给主模型 3. see image 给磁盘上的截图用 官方 PI adapter 已经会做第 1 步,不会做第 2 步:不支持就 UNSUPPORTED CONTENT 。Anionex 的 dsh-vision-toolkit 是另一条路:给 agent 一堆 vision 工具,要模型自己去调。本插件让 粘贴不被拒 。 对应需求:Discussions 588 · 介绍帖:Show and tell 1709 安装 本地路径: 然后 重启 dsh web 。旧会话的工具表不会更新。 GitHub topic: dsh-plugin 配置 环境变量(不要把 key 写进仓库): 变量 作用 DSH VISION BASE URL 视觉接口,例如 https://api.example/v1 DSH VISION API KEY 该接口的 key DSH VISION MODEL 必须是 真能看图 的模型,例如 glm-4.5v DSH VISION PROMPT 可选。默认 OCR + 描述界面 没设 DSH VISION 时回退 OPENAI BASE URL / OPENAI API KEY 。 GLM-5.2-FP8 这类文本模型 不能 当 sidecar。 也可以在 profile 的 cordis.patch.yml 里写: 30 秒验收 1. 主模型仍用官方纯文本(或 PocketCity 文本模型) 2. 配好一个真能看图的 sidecar 3. 在 Web 里 粘贴一张报错截图 ,问「红字说了什么」 4. 过关:不再弹「当前模型不支持图片」,主模型能引用图上的字 磁盘文件:让它调 see image 。 不要做 - 不要改 runtime/ 或官方 DeepSeek adapter - 不要把 sidecar 指到 deepseek-v4-flash / 其它纯文本模型 - 不要把它宣传成「视觉工具箱」——那是 toolkit 的词 社区 微信群: deepseek harness 交流群 扫码进群。进群前请先跑通上面的 30 秒验收,或带着一张「贴图仍被拒」的截图。 微信群码大约 7 天过期(本张到 2026-08-22 )。过期后把新码覆盖 docs/community/wechat-group.png 即可。 宣发稿(Discussions / V2EX…

在 GitHub 查看完整 README →
内容/媒体deepseek-harnessdsh-pluginvisionagent

分类