Icestab/dsh-image-vision-bridge

README excerpt

dsh-image-vision-bridge DSH 宿主插件:你发送的图片 照常显示在聊天记录里 ,插件在 llm/stream 水线上把发给主模型的请求里的图片块悄悄替换成视觉模型 mimo-v2.5 (默认走你已配置的 opencode-go 路由,复用现有 OPENCODE GO API KEY ) 生成的 文本描述 。描述只进模型、不进聊天:DeepSeek 基于描述回复你, 聊天里看不到任何"图片解析"文本。 工作原理 1. 图片消息原样进入 agent、原样写入会话日志——聊天框显示的就是你发的图。 2. 主循环(以及压缩、标题生成等)发出的任何模型请求都会经过 llm/stream 水线。插件检查请求消息里是否含 image 块: - 不含图片 → 直接放行; - 目标是插件配置的视觉模型本身(自己的调用,或某会话本来就选用了 视觉模型)→ 放行,让视觉模型直接看图; - 其他情况 → 构造一份 重写后的请求 :消息里的 image 块(含 tool-result 嵌套)替换为描述文本,再以这份请求实际流式调用。原请求对象与 会话日志完全不被修改。 3. 描述结果按附件 id 在进程内缓存(重试/后续轮次不重复调用);视觉调用 失败时降级为一段失败说明文本,不打断对话;用户取消时错误照常抛出。 兼容性 - 已测试环境:DeepSeek Harness 0.1.0-rc.6 (@deepseek-ai/dsh、dsh-llm 0.1.0-rc.6、cordis 4.0.1)。 - 插件依赖的公开 API: ctx.llm.stream 、 llm/stream 水线、 contentHasImage / createMessage / BlockAssembler 、附件 image 块。这些在 0.1.x 线内稳定;但插件会 重写进入水线的请求 (框架文档要求监听器只读不改),这是官方尚未承诺的用法,升级 dsh 前建议先在临时 profile 里冒烟测试(发一张图即可)。 - 插件不修改 dsh 安装、不写 dsh 目录、不碰会话日志;失败时按请求降级,不会影响纯文本对话。 安装(标准 bundle 方式) 本包声明了 dsh.bundle ,是标准的可分发 bundle:安装时自动插入插件行, 无需手改 cordis.patch.yml。 仍有两步手工操作(插件无法替用户完成): 1. 让主模型声明可接收图片 (必做):主机的 API 边界 ( dsh-host-apiproxy )会在图片消息进入 agent 之前用当前模型的 inputModalities 做校验,主模型若不声明 image 会被直接拒绝 (客户端提示"当前模型不支持图片")。在 DSH 设置文件 $DSH HOME/settings.yaml (也可通过 Web …

Category