Apageoflove/DSH-arena

Apageoflove★ 3TypeScript最后同步: 2026-08-15

在 GitHub 打开

Local-first experiment and evaluation workbench plugin for DeepSeek Harness (DSH).

README 摘要

DSH Arena DSH Arena 是 DeepSeek Harness(DSH)的本地实验与评估工作台插件。它拿同一个任务、同一份仓库快照去对比多个候选 profile:先把没过硬性门槛(hard gate)的跑法拦下来,再做 Pareto 排序;导出报告时自动脱敏常见凭据;还带一个 Web 实验台。 现在能做什么 - 原子化的本地持久化存储,运行队列有并发上限,支持中止和超时 - 确定性 hard gates:不满足直接判失败,不进入排序 - Pareto 排名与 winner 汇总 - Web 矩阵界面,实时刷新 - 执行走 adapter 驱动,不猜、不调 DSH 没文档化的 headless 命令 兼容性边界 - 只按官方文档化的 Cordis 契约写: name 、 apply(ctx, config) 、Schemastery 的 Config schema - 不碰 DSH Client/Host 没文档化的内部接口;能力识别用特性探测( ctx.arena ),不用私有槽位 - 真实 DSH 上的 Web / Headless E2E 还没跑通,所以本仓库不声称 100% 兼容。等真机验证过了再改口 构建 Node 24 自带 TypeScript 类型剥离,构建不需要额外依赖: 产物是 lib/index.js (host 入口)和 lib/client.js (浏览器入口)。package.json 里声明了 dsh.bundle.patch 和 dsh.client ;目前 private: true ,还没发 npm。 装进 DSH 先构建: 然后在官方 DeepSeek Harness 检出目录里执行(或把 pnpm dsh 换成全局安装的 dsh 命令): 不想走源码目录安装的话,先 npm pack 打出本地 tgz,再直接 add 那个文件: cordis.patch.yml 是发布用的补丁,解析为 name: dsh-arena ,里面没有本机绝对路径。 本地开发 cordis.local.patch.yml 直接指向工作区里的 TypeScript 入口,改完刷新即可。从 DSH 检出目录跑: 项目挪了位置,只需要改这个文件里的绝对路径。 服务接口 host 服务暴露的操作都是显式的: startExperiment(input) 、 recordRun(run) 、 getSnapshot() 、 report(directions) 、 subscribe(listener) 、 clear() 、 flush() 、 getPersistenceStatus() 、 bindExecutor(adapter, options) - 第一次修改前先 await arena.ready - 只有 bindExecu…

在 GitHub 查看完整 README →
Agent/智能体ai-agentarenabenchmarkingcordisdeepseekdeepseek-harnessdeveloper-toolsdsh

分类