young-tim/dsh-profile-lab

README excerpt

DSH Profile Lab DSH Profile Lab 是 DeepSeek Harness 的本地实验与发布门禁工具。它在隔离 workspace 中重复运行多个 DSH profile/patch 组合，基于官方持久化 session 事件计算质量、token、费用、时延和稳定性，并输出可审计报告。 产品包含完整的命令行闭环、三个 DSH 工具，以及 Web profile 会话中的“Profile 组合对比” 页签： profile lab run 完成后会自动生成报告，页签读取当前会话最近一次结构化报告； profile lab compare 仍可重新读取已有输出目录， 展示方案概览、基线差异、用例矩阵与 Pareto 前沿。云托管、账号系统和自动安装 插件仍不属于本产品边界。 Install as a DSH plugin 当前可直接从 GitHub 安装到 headless 或 web profile： 安装后重启对应 DSH 进程，模型即可使用 profile lab run 、 profile lab compare 和 profile lab gate 。Web profile 还会在“对话 / 轨迹”旁 增加“Profile 组合对比”页签；当前会话尚无成功的运行或对比报告时，空状态会说明 如何准备实验配置、让模型运行评测并生成报告。卸载命令： 插件同时提供 profile-lab-author-cases Skill。用户要求构建、规划或改进评测用例时， AI 会先确认范围与预算、提出用例矩阵建议，获得明确确认后才创建文件，验证通过后再询问 是否执行真实评测；未经确认不会产生模型调用费用。 第三方 DSH 插件以当前用户权限运行。安装前应检查源码；Profile Lab 默认临时复用 当前 DSH 登录凭证，子进程结束后立即清理。安全边界见 docs/SECURITY.md 。 Requirements - Node.js ^22.19.0 =24.0.0 - pnpm 11 - @deepseek-ai/dsh 0.1.0-rc.7 - 一个可运行的 DSH profile；默认 driver 是 PATH 中的 dsh 真实运行可能调用模型并产生费用。每次运行会安全快照当前 DSH HOME/settings.yaml ， 因此沿用用户已有的 Provider、base URL、模型列表和默认模型；默认的 run.credentials: inherit 还会临时复用 DSH HOME/.credentials.yaml ，无需在案例中 指定模型或 Key。CI 可使用 credentials: env-only 并通过 run.env allowlist 显式授权所需环境变量。 在 DSH 对话中使用 安装并重启 DSH…

Category