ilps2/avis-dsh-plugin

README excerpt

AVIS DSH Plugin — 视频语义层 给视频建一份「AI 能直接读懂的目录」，之后 无限次本地查询、零 token 。 一次本地分析（对象检测 + 场景描述 + ASR 转写 + 向量标注），之后任何支持 MCP 的 agent（DeepSeek Harness / Claude / Codex 等）都能用自然语言在 亚秒级 定位到「精确到秒」的片段，不再需要反复解码视频。 这是一个 DeepSeek Harness（DSH）社区插件 （ dsh-plugin ）。它本质是一份 MCP 桥接配置 + 一个本地 Python 语义层： dsh-mcp-client 拉起本地 server，把视频检索能力注册成 5 个 mcp avis 工具。 核心价值 - 一次编码，无限复用 ：索引建一次（约 1.5× 实时），之后查询亚秒级、零 token - 对象级时间轴 ：每个出现过的对象都有向量标注 + 时间窗（主角有 VLM 描述，配角/龙套只留向量） - 三层融合检索 ：对象（视觉向量）+ 场景（BLIP 描述）+ 语音（ASR）同进统一时间轴 - 自动分诊 ： auto 模式先探测语音密度/对象密度，纯语音视频走 asr only （秒级），有对象的走 avis full 前置依赖 依赖 说明 macOS + Apple Silicon（MPS） 当前只在 M4 Mac 验证过； mlx-lm 是 Apple 专用本地 VLM 后端 Python 3.10+ ffmpeg / ffprobe brew install ffmpeg 磁盘 16GB（全量 7 模型）或 75MB（纯语音 asr only 起步） 模型缓存 快速开始（作为 DSH 插件） 第 2 步会自动把 avis.cordis.yml.example 里的 AVIS ROOT 占位符替换成你的本机绝对路径，生成 avis.cordis.yml （已 gitignore，不进仓库）。 接好后，DSH 会注册 5 个工具，会话里直接说「找 xx 视频里讲口红的片段」即可： 工具 作用 mcp avis encode video 给视频建索引（长任务） mcp avis search index 文字/图片检索，返回精确到秒的片段 + 证据 mcp avis understand video 用本地 VLM 深度理解某段视频 mcp avis plan clips 剪辑规划，输出带证据的 t0/t1 清单 mcp avis index info 索引统计 持久化 （不想每次带 --patch ）：把 avis.cordis.yml 的 insert 块合并进 $DSH HOME/cordis.patch.yml （本机所有 profile 生效）或 $DSH HOME/profiles/ /…

Category