tallahandsome-ux/dsh-fetch-third-party

README excerpt

dsh-fetch-third-party English 中文 安全的第三方网页抓取插件 （DSH / DeepSeek Harness）——让 AI 在「搜索摘要不够」时，能自主抓取网页全文来回答问题。 简介 本插件为 DeepSeek Harness（dsh）提供 安全的网页抓取能力 ：抓取委托给 用户自选/自建的第三方服务 （Tavily / Jina Reader / Firecrawl / 自定义契约服务），本机从不直接连接目标网址，因此 没有 SSRF 攻击面 。 核心能力： - 自主抓取 ：模型先用官方 web search 搜索，当摘要不足以回答问题时，会自动调用 web fetch url 抓取目标网页全文，无需用户提示。 - 快递员模式 ：目标网址只经用户配置的第三方服务抓取，本机零出站到任意 URL（无 SSRF 面）。 - 多服务商 + 路由 ：Tavily / Jina Reader / Firecrawl / 自定义服务（契约 v1，可多实例并存），主服务商失败自动回退到兜底服务商。 - API key 单一写入点 ：key 只存托管保险箱（0600），卡片只显示“已配置/未配置”，永不回显。 - 会话级预算 ：默认每会话 10 次，超限拒绝并给出明确提示。 - GUI 设置卡片 ：测试连接 / 本地代理 / 自定义服务商管理 / 清除 key。 - 自建 Crawl4AI 栈自动管理 ：当默认或兜底服务商是 loopback 地址的自定义服务商时，插件自动拉起容器与包装进程，并带实时 watchdog 自愈。 - 抓取缓存 ：同一 URL 在有效期内重复抓取直接走内存缓存——不消耗第三方额度，也不消耗会话预算。 - SSRF 纵深防御 ：转发给第三方前，拒绝模型请求的内网/保留地址目标（自建 Crawl4AI 与本机同网段时尤其重要）。 - 动态回退链 ：有序服务商链 + 配额/失败冷却（指数退避），失败自动降级、到期自动恢复，不再只是「主+兜底」两档。 - 结构化输出 ： web fetch url 除正文外返回标题/标题大纲/链接/字数/预计阅读时长，方便模型引用与核对。 工作原理 目录结构 安装到 DeepSeek Harness 前置：已安装 DeepSeek Harness（dsh）与 pnpm。 方式一：git 安装（推荐） pnpm v11 首次安装提示 ：pnpm v11 默认拦截 git 依赖的构建脚本，首次执行可能报 ERR PNPM GIT DEP PREPARE NOT ALLOWED 。报错信息会给出需要放行的 key，把它加入 web profile 的 pnpm-workspace.yaml 后重新执行即可，例如： 安装完成后 重启 dsh web ；在 设置 → 插件 → 插件配置 中出现「网页…

Category