shenyan-008/dsh-visual-aid

README 摘要

dsh-visual-aid dsh 的纯插件，用于让“纯文本主模型”也能处理带图片的会话。它会把图片理解委托给一个支持图片输入的视觉模型。 本插件 不修改 dsh 核心源码 ，所有代码都在 packages/visual-aid/ 目录内。 为什么需要它 DeepSeek chat-completions 这类文本模型不支持图片内容。如果会话里包含图片，直接发给主模型会报错： dsh-visual-aid 的解决方式： 1. 检测会话中的图片。 2. 调用配置好的视觉模型生成图片描述。 3. 在请求主模型之前，把图片块替换成带编号的文字占位符。 4. 提供 view image( N, question) 工具，让主模型仍能针对原图追问。 功能特性 - 自动图片替换 ：启用后，主模型请求不会看到原始图片块。 - view image 工具 ：让主模型向视觉模型追问编号图片。 - visual read image 工具 ：通过插件自有路径读取磁盘图片文件。 - 会话开关 ： /visual-aid on off 或 Web 顶部开关。 - 关闭即完全停用 ：从顶部选择“关闭”后，会同步关闭设置页中的“视觉辅助”，并且不再执行图片转描述、请求投影或 view image / visual read image 。 - 设置界面 ：在 dsh Web 设置中提供“视觉辅助 / Visual Aid”配置项。 - 视觉对话面板 ：展示图片问答历史、丢弃警告和 Token 统计。 - 分支继承 ：fork 出的新会话会继承父会话已生成的图片描述，避免分支后重复生成、浪费 Token。 - 压缩后编号稳定 ：图片编号在压缩/compact 后保持单调递增，不重复使用。 - 多模态伪装 ：设置中提供独立开关，允许纯文本主模型通过 dsh 的模型切换检查（需配合 visual-aid 正常使用，风险自负）。 - 不改核心 ：以正常 dsh 插件 bundle 方式安装。 目录结构 界面预览 安装并启用后，主要界面如下： 顶部按钮 设置页 视觉面板 安装 发布到 npm 后，可以通过 bundle 安装到 dsh profile： 本地开发时，可以打包后安装： 安装后重启 dsh，并在设置中启用 Visual Aid，或使用： Ubuntu / Linux 安装 插件本身是跨平台的，Linux 下数据默认保存在： 从 npm 发布后安装： 使用本地 bundle 安装： 安装后重启 dsh，并在设置中启用 Visual Aid。 Windows 安装 插件本身是跨平台的，Windows 下数据默认保存在： 如果使用本地 bundle，把整个 bundle 文件夹（包含 package.json 、 cordis.patch.yml 和两个 .tgz ）复制到 Window…

分类