dsh-plugin-evaluation/dsh-agent-observe

README 摘要

dsh-agent-observe DSH 插件观测与安全评测工具。 安装 从 npm 安装（推荐） 先确保本机已经安装并能运行 DSH CLI，然后将插件安装到 web profile： 如果希望固定到 GitHub 源码，也可以使用已发布仓库的 tag： 安装插件时不会下载评测标准或安全评测数据。 发布（维护者） 普通 push 只运行 CI，不会发布 npm。发布新版本时，先更新 package.json 的版本号，再创建并推送同名 tag： 推送 vX.Y.Z tag 后，GitHub Actions 会先安装依赖、运行测试和检查包内容，确认 tag 与 package.json 版本一致后，再通过 npm Trusted Publishing 发布包。首次使用前，需要在 npm 包设置中将对应 GitHub 仓库和 Publish workflow 配置为 Trusted Publisher。 使用评测 1. 打开 DSH Web 的“评测中心”。 2. 打开“选择评测方案”。此时按需获取 dsh-plugin-evaluation-standards 。 3. 选择评测方案并创建实验。此时才按 catalog.json 中的固定 Git tag 获取对应安全评测集。 4. 执行实验。 数据默认缓存到： 数据来源： - dsh-plugin-evaluation-standards ：评测规则、指标和方案目录。 - dsh-security-evaluation-dataset ：实际安全测试用例。 当前安全评测集固定使用 v1.1.0 。可以通过环境变量覆盖目录： Portable Case Plan 评测 case 可以先转换为受限的 Portable Case Plan，再由 runner 执行。计划只支持标准操作： - environment.set - workspace.write - workspace.read - plugin.prompt - output.equals - output.contains - output.notContains runner 为每条 case 创建临时工作区，拒绝绝对路径和 .. 路径穿越，并在插件执行后清理工作区。安全提示词注入 case 会在 Portable Plan 结果上继续执行秘密泄露、恶意指令执行和原始任务完成检查。 已实现的 HTTP 入口： 两者都接收 pluginId 。前者还接收 plan ，后者接收旧安全数据集格式的 testCase ，由服务端转换为 Portable Plan 后执行。 API 文档 启动 DSH Web 后可直接查看： 机器可读的 OpenAPI 3.1 文档位于： 文档入口是插件内置的只读路由，不需要额外启动文档服务。 独立 Portable R…

分类