ilps2/dsh-video-understand

README 摘要

dsh-video-understand 低成本视频理解插件：给 dsh agent 注册 video understand 工具——B站链接 / BV 号 / 本地视频 → AVIS 信息层 → 摘要+问答（token 压缩 99.95%+，成本约 0.006 元/视频）。 安装 工具 video understand(target, questions?, noDownload?, level?, window?) 参数 类型 说明 target string B站 URL / BV 号 / 本地视频绝对路径 questions string[] 可选，自定义问题（默认 3 问） noDownload boolean 本地文件置 true level string l0 (默认) / l1 (+3-5帧VLM视觉摘要,+0.0005元) / l2 (+时间窗密集帧证据) window string L2 时间窗，如 10-30 或秒数（auto=轨迹最活跃30s） 返回 JSON： video / duration s / token compression pct / cost cny / answers[] 。 配置 配置项 / 环境变量 默认 说明 scriptPath / VIDEO UNDERSTAND SCRIPT /Desktop/live-clip-repo/understand video.py 引擎脚本路径 pythonPath / VIDEO UNDERSTAND PYTHON python3 Python 解释器 toolName video understand 工具名（避免宿主冲突可改） 结构 分级实测（2026-08） 层级 内容 成本 L0 信息层 ASR+场景+轨迹+YOLO → 摘要/问答 0.006 元 L1 视觉级 3-5 帧 VLM → 颜色/姿态/衣着 +0.0005 元 L2 证据级 时间窗密集帧 → 时间线 按窗长 实测：电影解说 L1 补出「白色立领衬衫/神情凝重/暗色调诊室」（L0 完全给不出）；舞蹈 L2 逐帧「头部转 15-20°→45°、口型开口→闭合→微笑」。 原理 引擎把视频压缩成 信息层 （ASR 转写 + 场景结构 + 运动对象轨迹 + YOLO 语义，约 1k token）再喂 LLM，对比逐帧像素（540 万 token）压缩 99.95%+；同一视频重复理解时信息层命中上下文缓存（93%），每次成本约为首次的 1/20。详见 live-clip 的 README。 License MIT

分类