TaurenMountain/dsh-llm-as-a-verifier

README 摘要

dsh-llm-verifier English 中文 npm 包名： dsh-llm-as-a-verifier （裸名 dsh-llm-verifier 在 npm 上已被他人占用，仓库与 npm 包统一为 dsh-llm-as-a-verifier ）。 把 LLM-as-a-Verifier（arXiv 上的统一验证框架）魔改进 DeepSeek Harness（ dsh ）：让智能体在干活时能对自己的候选答案做 细粒度概率化验证 ——不再是「好/坏」一锤子判断，而是读取验证模型在 20 级评分字母上的完整 logprob 分布并取期望。 你会得到 三个模型可直接调用的工具（安装后自动注册，无需重启即可用）： 工具 能力 复杂度 verify compare 对两个候选（代码/方案/轨迹）按评价标准打分，返回 [0,1] 的细粒度奖励 (scoreA, scoreB) 1 次验证调用 / 标准 / 次 verify select N 选一：Probabilistic Pivot Tournament（概率枢纽锦标赛），O(Nk) 次比较替代 O(N²) 全循环 线性于 N verify track 逐步进度追踪：验证器以 A(0%)..T(100%) 为每个 checkpoint 打分，画出进度曲线 O(K) 次调用 为什么比「LLM-as-a-Judge」更细？ 上游框架的核心思想是：① 用细粒度评分（20 级字母尺度）；② 对评分 token 的 完整 logprob 分布取期望 （而不是只取 argmax）；③ 用重复评估 + 标准分解缩放可靠性。本插件原样移植了这套逻辑（打分提取、成对提示词、锦标赛、进度追踪、token 计量），并适配为 DSH 的 Cordis 工具插件。 安装 要求：dsh ≥ 0.1.0-rc.6、Node ≥ 18。安装完成后重启 dsh web （或等待 HMR 自动生效）。 配置验证后端 验证模型必须是 能返回 token 级 logprobs 的 OpenAI 兼容服务 ：DeepSeek 官方 API、vLLM/SGLang 本地服务、OpenAI 等均可。 在你的 profile 配置（ /.dsh/profiles/ /cordis.patch.yml 或 /.dsh/cordis.patch.yml ）里写： 凭证解析顺序 （与上游一致）：插件 config → OPENAI BASE URL + OPENAI API KEY → DEEPSEEK API KEY （自动启用 DeepSeek 端点与 thinking 参数）。什么都不配时，工具注册不受影响，调用时才报 MissingAPIKeyError 。 使用示例 装好后直接在对话里让智能体用（无需额外命令）： 或者手动指定： 配置项 配置 默认…

分类