syOPV/dsh-skill-creator
syOPV★ 0ShellLast synced: 2026-08-15
测试、验证、优化 DeepSeek Harness skill 的 skill——带/不带 skill 对比,数据驱动判断 skill 有没有用
README excerpt
dsh-skill-creator 测试、验证、优化 DeepSeek Harness( dsh )skill 的 skill——用「带 / 不带 skill 对比」,数据驱动地判断一个 skill 到底有没有用。 有什么用 写 skill 的人都会遇到两个问题: 1. 不知道写的 skill 有没有用 ——花时间写了个 skill,但它到底让结果变好了,还是根本没用? 2. 不知道触发准不准 ——skill 写得再好, description 触发写烂了,dsh 根本不会加载它,等于白写。 靠「感觉」判断不可靠。本 skill 用 对照实验 解决:同一个任务,跑「带这个 skill」和「不带这个 skill」两次,对比结果差异。差异明显 = skill 有用;没差异 = 要么没触发,要么正文没约束力。 适用场景 : - 刚写了一个 skill,想验证它值不值得用 - skill 触发不准,想找出原因 - 想优化现有 skill,但不知道怎么改 定位(和 dsh-creator 分工) dsh 生态里已有 dsh-creator (教「写」扩展),本 skill 补上「验和改」这一环: dsh-creator 本 skill 职责 写 dsh 扩展(插件/工具/skill/MCP 的格式、字段、discovery) 验证 / 优化 skill(带/不带对比) 触发 「帮我写一个 skill / 插件」 「这个 skill 有没有用」「触发不准」「帮我优化 skill」 两者独立、按对话场景自动加载、先后配合(先写后验)。 快速开始 1. 安装 前置:已安装 DeepSeek Harness(Node.js 22.19+ 或 24+)。 /.dsh/skills/ 是 dsh 的用户级 skill 发现根(项目级则放 .dsh/skills/ )。 2. 使用(对话方式,最简单) 直接在 dsh 里说: 你说 dsh 做什么 「帮我验证 XX 这个 skill 有没有用」 写测试 prompt,跑带/不带对比,告诉你结论 「XX 这个 skill 触发不准,帮我优化」 跑对比找触发问题,改 description,再测 「刚写的 skill 帮我看看效果」 按「测试 → 评估 → 重写」循环验证 dsh 会自动加载本 skill 并执行。 3. 使用(命令行方式,手动跑对比) 脚本会把带 / 不带 skill 两份结果存到 .skill-eval/ 。 一个真实例子 写了一个「写 git commit message」的 skill 后,验证它的效果: - 测试 prompt :「帮我把这次改动写成 commit message,我修复了登录页面密码错误提示的 bug」 - 带 skill 的结果 : (标准 conventional commits 格式,祈…
View full README on GitHub →