shinjiyu/dsh-plugin-multimodal
shinjiyu★ 1TypeScriptLast synced: 2026-08-15
Vision sidecar for DeepSeek Harness: accept pasted images on text-only models.
README excerpt
dsh-plugin-multimodal DeepSeek Harness 官方线路是 纯文本 。Web 里贴图会被拒: 当前模型不支持图片 。 这个插件补的是 贴图准入 ,不是视觉工具箱。 1. 主模型本身收图(Claude / GPT / 自建视觉网关)→ 原样把图交给模型,不转文字 2. 主模型是纯文本(官方 DeepSeek)→ GUI 先收下图,sidecar 转成文字再发给主模型 3. see image 给磁盘上的截图用 官方 PI adapter 已经会做第 1 步,不会做第 2 步:不支持就 UNSUPPORTED CONTENT 。Anionex 的 dsh-vision-toolkit 是另一条路:给 agent 一堆 vision 工具,要模型自己去调。本插件让 粘贴不被拒 。 对应需求:Discussions 588 · 介绍帖:Show and tell 1709 安装 本地路径: 然后 重启 dsh web 。旧会话的工具表不会更新。 GitHub topic: dsh-plugin 配置 环境变量(不要把 key 写进仓库): 变量 作用 DSH VISION BASE URL 视觉接口,例如 https://api.example/v1 DSH VISION API KEY 该接口的 key DSH VISION MODEL 必须是 真能看图 的模型,例如 glm-4.5v DSH VISION PROMPT 可选。默认 OCR + 描述界面 没设 DSH VISION 时回退 OPENAI BASE URL / OPENAI API KEY 。 GLM-5.2-FP8 这类文本模型 不能 当 sidecar。 也可以在 profile 的 cordis.patch.yml 里写: 30 秒验收 1. 主模型仍用官方纯文本(或 PocketCity 文本模型) 2. 配好一个真能看图的 sidecar 3. 在 Web 里 粘贴一张报错截图 ,问「红字说了什么」 4. 过关:不再弹「当前模型不支持图片」,主模型能引用图上的字 磁盘文件:让它调 see image 。 不要做 - 不要改 runtime/ 或官方 DeepSeek adapter - 不要把 sidecar 指到 deepseek-v4-flash / 其它纯文本模型 - 不要把它宣传成「视觉工具箱」——那是 toolkit 的词 社区 微信群: deepseek harness 交流群 扫码进群。进群前请先跑通上面的 30 秒验收,或带着一张「贴图仍被拒」的截图。 微信群码大约 7 天过期(本张到 2026-08-22 )。过期后把新码覆盖 docs/community/wechat-group.png 即可。 宣发稿(Discussions / V2EX…
View full README on GitHub →Category
The first vision plugin for DeepSeek Harness, and the vision bridge for every text-only coding agent. Paste an image, get structured JSON evidence (OCR, layout, semantics). | 全网第一个 DeepSeek Harness 视觉插件,为 DeepSeek、GLM 等纯文本模型外挂视觉能力,粘贴图片即得结构化 JSON 证据(OCR、版面、语义)。
★ 1,700
Anionex/agent-vision-toolkit为纯文本模型"看图“设计更好的视觉工具箱和技能,支持多图理解,图片问答,前端UI还原、GUI 自动化等,并可选无缝接入多个主流agent,直接识别粘贴图片| A vision toolkit and skill designed for text-only llms — image Q&A, long-screenshot OCR, frontend UI restoration, and GUI automation, with optional seamless integration for Codex, Claude Code, Pi, Oh My Pi, and OpenCode
★ 884
Anionex/dsh-vision-toolkit让纯文本模型更好地做视觉任务的DeepSeek Harness插件:带意图的图片问答、长截图 OCR、UI 还原等|DeepSeek Harness-native integration for agent-vision-toolkit: image Q&A, long-screenshot OCR, UI restoration, grounding, pixel diff, Artifacts, and Web UI.
★ 405