就在前几天,
面壁智能联合OpenBMB开源了
MiniCPM-OCR 系列模型。
包含参数量1.3B 的 MiniCPM-OCR 1.0和
2B 的 MiniCPM-OCR Jev

同时权重、部署工具链和微调代码,
也全都开放了,
我自己体验下来,OCR 的效果真的极好,
于是就去研究了一下怎么实现的,
这个OCR 功能是由两个模型共同完成的
OCR模型把文档图片解析成结构化文本,
Jev 给解析结果打分

后者是文档自动化里长期缺失的核验部分,
这次面壁找到了一个解决方案。

众所周知啊,
面壁智能最有名的就是端侧模型,
多数团队在扩大参数量的时候,
MiniCPM 选择走群众路线
用几B的参数量逼近超大模型的能力,
可以直接部署在消费级设备上。

OCR模型可以输出 Markdown
或 JSON 格式的结构化文本,公式和表格

模型支持中英混排、跨行复杂公式。
它在 Real5-OmniDocBench 和 OCRBench v2 两个测试集上
分别拿到 93.68 分和综合评测 54.7 分,第一名。


一份合同用OCR识别,大概率会存在一些数字文字识别错误,
如果没有二次审核,那出错了的话问题就很严重了

目前市面上有两种解决方案。
一种是增加人工,逐页复核。
另一种是再请一个生成式大模型对照原图复述一遍。
后者相当于再搞一次生成式任务,
而且模型倾向于顺着已有答案继续生成,
自查很难查出问题。

JEV 模型提供了第三种解法,判别式。
JEV 底座模型是 Qwen3.5-2B,
输入原图区域、候选解析文本以及渲染图
输出一个 0 到 1 之间的置信分,分数越高,解析越可信。

在专用基准 JevOCRBench 上,
Jev 的整体 AUROC 达到 93.6。
Qwen3.5-397B-A17B拿了93.8 分,
但是参数量大了 200 倍。

在 MiniCPM-OCR 1.0、GLM-OCR、
PaddleOCR-VL-1.6 和 Xiaomi-OCR 四家的解析结果上,
AUROC 稳定在 91.9 到 93.4 之间。
意味着它可以作为独立环节,
插进任何一条已有的 OCR 流水线。

如果是本地部署的话,
A100上跑大概0.09 元/1000页,
RTX 4090 0.27 元/1000页,
BF16 全精度权重大约 4 到 5GB,
INT8 量化2GB,4-bit 量化约 1.2 到 1.5GB。
8GB 内存的笔记本用 4-bit 量化版就能部署
16GB的MacBook Air 可以直接全精度跑了
甚至12GB 内存的安卓手机
配合 llama.cpp 或 Ollama
也能直接装在手机上,
端侧模型还是太权威了。
晓风乾丨 大四 Base北京 AI产品在职
想缩小科技带来的信息差 分享很酷的AI玩法。
希望得到您的点赞转发爱心三连支持,
如果有更多想法或者问题欢迎交流~







