martinbear1/dsh-realtime-voice

README 摘要

DSH Realtime Voice DeepSeek Harness 官方插件形态的实时语音 Agent：安装后在 WebUI 输入框旁出现拨打按钮，用户可持续对话、打断播报、询问进度，并用语音启动、追加、纠正或停止当前 DSH Agent 工作。 当前版本： 0.1.0-alpha.6 ，目标 DSH： 0.1.0-rc.7 。 本包同时声明 DSH bundle、Host 插件和“原生 WebUI 浏览器侧”插件。这里不是另做一个网站：UI 直接注入 DSH 自带的 http://127.0.0.1:3080 ，不新增页面或 UI 端口。它不修改 DSH 源码，不另起后台进程；卸载或禁用时会移除 UI/路由并关闭麦克风、音频、浏览器 WebSocket 和百炼连接，已经交给 DSH 的任务继续运行。 当前能力 - DSH 原生 3080 WebUI：拨号按钮位于发送按钮右侧，使用同尺寸、同色系的通话图标 - 独立可拖动语音浮窗；可在任意位置展开使用，也可收起为带动态波形和计时的悬浮球 - “设置 → 插件 → DSH 实时语音”内一键切换 Qwen Audio Realtime Flash/Plus；下一通生效，不中断当前通话 - “快速声学打断 / 智能语义轮次”可切换；快速模式采用浏览器本地起音检测、立即停播、Host 显式取消和百炼 VAD 三层打断 - 自动识别 DASHSCOPE API KEY ，也可在插件设置中通过 DSH 官方 credentials 安全写入或替换；浏览器不可回读明文 - 默认低延迟 server vad （阈值 0.35、静音 500ms），可选 smart turn ；实时转写、流式 PCM 播放、用户全双工打断 - Function Calling 到官方 DSH apiProxy ：开始、queue/steer、状态、取消 - 按工作区/标题检索其他 DSH 会话，并读取指定会话最后一条 Agent 回复 - 双层上下文闭环：工作指令进入持久 DSH 会话， turn/end 的最终 Agent 回复回灌语音上下文并主动播报 - 长通话恢复：隔离上游/浏览器 socket 异常、忽略迟到旧连接事件、重置音频流，并针对百炼 1007 限流延长退避 - DSH credentials 解析 DASHSCOPE API KEY ，密钥不进入浏览器包 - dsh.voice.v1 二进制协议，WebUI 与微信小程序共用底层契约 运行时只使用两层模型：Qwen Audio Realtime 负责听说、打断和受限 Function Calling；DSH 当前会话选择的 DeepSeek/千问等编码模型负责真正的 Agent 工作。语音模型不会旁路 DSH 自己修改代码。 上下文模型 实时语音上下文与 DSH 会话不会机…

分类