3600 多页的哈利波特七部曲,百度能让它们的新模型文心Unlimited OCR 2 一口气能读到底;同样是1200多页的三体全集,它理解起来也丝毫不费力。
甚至在多页文档基准测试中,它都取得了SOTA 的表现。
它的技术灵感,来自一件特别朴素的事情:抄书。想象一下,人类抄一本厚书时,目光始终落在当前页。遇到跨页关联,偶尔翻回去参考一下。 总不能每抄一句话,都重新翻完前面的所有页面吧。
于是,团队提出了SR-SWA,稀疏参考滑动窗口注意力机制。其中页面门控先缩小需要参考的页面范围,Token 筛选器再从候选区域里挑出最相关的视觉 Token 块。这样就可以让模型把有限的计算资源集中在值得关注的视觉信息上,单步解码的注意力计算成本也就能够保持近乎恒定。
不过,这还没完。 就算每次只关注少数 Token,如果所有页面的视觉缓存一直堆在 GPU 里,几千页下来照样吃不消。于是又有了无限解码机制。 它把整份文档拆成一块块相互有重叠的页面组,按顺序处理,复用相邻分块的边界页面缓存,再把已经用不到的视觉 KV Cache 释放掉。
简单来讲,就是让模型一路往下读,显存里始终只需要维护有限的视觉缓存工作区。按照官方给出的测试数据:单序列推理下,KV Cache 峰值显存占用从 47 GB 降到了 1.77 GB。16 并发场景下,端到端吞吐量从 360 TPS 提升到了 1315 TPS。
官方还测试了文档长度不断增加时的表现。在百页级别,与全注意力相比,单步解码提速约 7 倍,在最长 300 页的评测范围内,解析精度依然保持稳定。
其实上一代 Unlimited OCR 就已经在 Hugging Face 上积累了超过 1000 万次下载。这一次,团队继续把长文档解析的瓶颈往前推,从长文本生成时的缓存优化,进一步深入到超长视觉输入的计算与显存管理。
而在这次公开的技术报告里,还有一个小彩蛋。像素为身,Token 为血。已阅尽千页,不为 KV Cache 所限,亦不为上下文长度所缚。
熟悉《Fate/stay night》的朋友,应该一眼就能认出来,这段文字致敬的是经典的无限剑制咏唱。这个创意最早来自上一代 Unlimited OCR 开源后的 Hugging Face 社区。 有开发者将原作中的咏唱改编成了 Unlimited OCR Works 版本,开发团队看到后很喜欢,最终将其收录进了 2.0 的技术报告。
关于文心 Unlimited OCR 2 的更多细节,百度将在11月12日举行的百度世界2026大会上进一步分享。
#文心
#文心大模型
#文心无限OCR2
#无限OCR
#UnlimitedOCR
#百度世界2026




















