CraZY222123/dsh-ocr-plugin

README 摘要

dsh-ocr-plugin 给 DeepSeek Harness 加"眼睛"的本地 OCR 插件： 让纯文本模型 真正看到图片内容 ——截图、发票、表格、扫描件、多栏文档，全部本地识别，不依赖任何云 OCR。 背景：DeepSeek API 当前不接收图片输入，对话里发图只能看到"这是一个图片附件"。 本插件在消息序列化时把图片 本地 OCR 成文本 再发给模型，图片从此可被理解。 快速通道秒级出结果（rapidocr），深度通道用 DeepSeek-OCR-2 做版面级解析。 ⚠️ 平台兼容性（先看这里） 本插件在 鸿蒙 PC（HarmonyOS PC） 上开发并实测通过，针对鸿蒙做了部分适配： - 快速通道（RapidOCR）在鸿蒙 PC 沙箱环境下正常可用； - Python 运行库可通过 DSH OCR PYTHONPATH / DSH OCR LD LIBRARY PATH 指向自带依赖（如 brew 安装的 Python 3.12 与 vendored 轮子）； - 深度通道（llama.cpp）在鸿蒙 PC 上可运行，但 CPU 推理耗时较高；若在受限沙箱（线程即进程）下遇到视觉编码异常慢的性能问题，建议在容器或常规主机上运行深度推理。 其他系统（Linux / macOS / Windows） ：插件本体是跨平台 Node.js + Python 实现，无鸿蒙专属依赖，满足前置要求即可运行。 DSH OCR PYTHONPATH / DSH OCR LD LIBRARY PATH 仅在需要自带 Python 运行库时设置；Windows 不需要 LD LIBRARY PATH 。 功能 - 双通道 OCR - 快速： ocr image.py + RapidOCR（onnxruntime，秒级） - 深度：DeepSeek-OCR-2（GGUF 量化，llama.cpp llama-mtmd-cli 本地推理）——消息里带 [深度识图] 即触发 - 版面理解 （移植自 DeepSeek-OCR-2 的版面原理）： - 行主序阅读顺序重排（多栏先左后右、栏内自上而下） - 网格对齐表格检测 → 还原为 分隔 的 Markdown 行 - 每行文本附带左上角坐标 文本@x,y ，供模型按语义重组 - 缓存 ：快速通道内存缓存（128 条），深度通道按附件 ID 磁盘缓存（ $DSH HOME/attachments/ocr2-cache ），同一图片只算一次 - 即插即用 ：以 ctx.provide('ocr', ...) 挂到适配器缝上——装上即接管、停用即回退内置实现，无需改适配器代码（前提见下方"前置要求"） 工作原理 目录结构 前置要求 组件 必需 说明 DeepSeek Harness ✅ 部署含 dsh-llm-deepseek …

分类