xiyue718/dsh-ui-external-vision

README excerpt

@dsh-external/ui-external-vision 外接模型识图插件：当当前模型不支持识图但需要识别图片时，通过外部 VL 模型（默认 qwen3.5-omni-plus ，OpenAI 兼容接口）识别图片并返回文字描述。 功能 - 在“设置”中新增“外接识图”配置页面。 - URL 自动识别 ：当用户消息中包含图片 URL、且当前模型不支持图片输入时，插件会自动在模型请求前下载该 URL（仅内存，不写盘），调用外部 VL 模型识别，并把识别结果作为上下文注入给 AI。 - 防盗链兼容 ：下载图片时会自动携带合适的 Referer （iconfont/alicdn 使用 https://www.iconfont.cn/ ，其他 URL 使用同源地址），降低 CDN 403 拒绝概率。 - 失败可见 ：某个 URL 获取或识别失败时，插件会把失败原因注入上下文，不再静默跳过。 - 本地图片自动调用 ：当 AI 调用 read image 工具、但当前模型不支持图片输入时，插件会自动调用外部 VL 模型识别图片，并把文字描述作为工具结果返回给 AI。 - read image 拦截同时支持 file path 与 url / imageUrl / file url 参数。 - 不再提供手动“识图”视图。 配置页面 在 DSH Web 中进入： 可配置： 配置项 说明 模型提供方 服务商名称，例如“阿里云百炼” Base URL OpenAI 兼容接口地址 模型名称 外部视觉模型名 API Key 用户手动输入的 API Key 配置规则 - API Key 必须由用户手动输入 。 - API Key 通过项目凭证服务保存，与“模型”设置页的实现方式一致。 - 禁止从外部文件、环境变量或远程接口读取 API Key。 - 模型提供方、Base URL、模型名称通过项目 storage domain 持久化保存，并同步到 host 内存供自动识图使用。 - 保存时会校验： - 模型提供方不能为空； - Base URL 和模型名称不能为空； - 首次保存时 API Key 不能为空。 - 已配置 API Key 后，再次保存可留空表示保持不变。 - 保存成功后显示“已保存”提示。 API 获取默认配置 响应： 该接口不返回 API Key。 获取/保存非敏感配置（项目持久化） 请求体： 保存设置页面时，客户端会自动调用该接口，把非敏感配置通过项目 storage domain 持久化保存，并同步到 host 内存供自动识图使用。 识图 请求体： 或： 使用 imageUrl 时，host 会先把远程图片下载到内存并转为 base64 data URL，再发送给外部 VL 模型；不会写入磁盘，也不依赖外部模型自行抓取 URL。 API Key 由 hos…

Category