jmxsxwyzjdwl/dsh-mmroute

README 摘要

dsh-mmroute — 多模态路由（全程交叉版） English summary — Multimodal router for DeepSeek Harness (DSH). Text-only models (e.g. DeepSeek, GLM) can still handle visual tasks: every image in every step of the agent stream — user uploads, read image results, MCP tool renders (Figma screenshots, …) — is transcribed into detailed text (verbatim OCR, chart data, visual detail) by a multimodal understander model before the request is dispatched, cached per attachment. Unmarked models are auto-classified by their adapter-declared modalities (overridable per model); image-related request failures self-recover by rerouting through the understander and retrying. Settings page: mark models multimodal/text-only, pick the understander, watch transcription/recovery stats. Works with PNG / JPEG / WebP / GIF. 为 DeepSeek Harness（DSH）里的每一条模型路由做 图片模态调度 ，并且 贯穿整个 agent 流程 ： - 多模态模型 / 声明图片输入的模型 —— 图片原样直发； - 纯文本模型 （显式标记，或「自动纯文本路由」判定）—— 每次请求里的每张图片，先由指定的 多模态理解模型 转述为详细文字（含图中文字逐字转录、图表数据转录、视觉细节），再连同对话一起交给纯文本模型作答； - 报错自愈 —— 纯文本模型（或网关实际拒图的"多模态"模型）一旦出现图片类失败，自动把该路由转入转述路径并让 agent loop 重试： 两类模型在整条流程里交叉接手 ，而不是"第一次读完图就不再管"。 这样，DeepSeek、GLM 等纯文本模型也能处理看图问答、截图分析、Figma 渲染审查等视觉任务。 Multimodal router for DeepSeek Harness: text-only models…

分类