Aa728848/dsh-llm-verifier

README 摘要

DSH LLM Verifier 基于 llm-as-a-verifier/llm-as-a-verifier 迁移构建的 DSH 原生模型可配置复核插件（Verifier）。 它是什么？ dsh-llm-verifier 为 DeepSeek Harness（DSH）引入了一套 独立的裁判复核机制 。在主 Agent 负责生成代码、执行命令与工具交互的同时，Verifier 会收集当前任务目标、各候选方案过程以及真实的终端执行结果，交由你在设置中指定的独立 DSH 模型进行仲裁：评估哪个方案更可靠、当前任务的实际完成进度、以及是否存在未发现的潜在错误。 插件提供四个显式工具，并支持可配置的宿主级自动会话验收： - verifier compare ：对两个候选执行过程进行成对比较（Pairwise Comparison）； - verifier select ：在多个候选方案中通过锦标赛机制选出最优解，供 Best-of-N / 多候选编排器直接调用； - verifier track ：评估任务在已有检查点（Checkpoint）的完成度与进展，供 Goal / Workflow 等长任务编排器直接调用； - verifier current session ：显式提取当前 DSH 会话记录，进行脱敏并执行复核； - 四工具自动路由 ：智能或严格策略在 agent/turn-stopping 生命周期边界按阶段调度 select → compare → track → current session 。第一阶段只信任 Workflow 的版本化候选协议与发生真实变化的 Todo 快照；普通 Subagent 输出必须经第二阶段的证据引用分类，避免把不同子任务误当候选； - 自动验收门控 ：候选选择与进度检查完成后，宿主运行同一会话验收逻辑；未通过时以插件 steering 反馈要求 Agent 修复并重新验证，而不是依赖模型是否主动想起工具。 安装与启用 (Installation & Usage) 1. 使用 dsh plugin 安装 DeepSeek Harness（DSH）通过 profile 独立管理各个运行环境的插件依赖。请使用 dsh plugin 命令将插件安装至目标 profile（如 web ）： [!NOTE] dsh plugin add 安装成功后，DSH 会自动识别包内的 dsh.bundle 声明并完成插件层自动对齐（Reconcile）， 无需手动修改任何配置文件 。 2. 启动与配置 启动 DSH Web 客户端： 启动后进入前端界面，打开 设置 → LLM Verifier 即可可视化配置裁判所使用的 Provider、Model、推理强度（Reasoning Effort）、最大并发与缓存策略。 3. 常用管理命令 …

分类