
作者:许安仪
编辑:李宝珠
转载请联系本公众号获得授权,并标明来源
MiniCPM-V 4.7 是一款采用 MoE 架构的多模态视觉语言模型,总参数量 35B,每个 Token 仅激活约 3B 参数,在控制推理计算开销的同时,支持图像、多图和视频理解等任务。
如果说语言模型让 AI 学会了阅读和表达,那么多模态模型则进一步拓展了它感知世界的方式。从识别图片中的物体、读取图表里的数据,到理解视频中连续发生的事件,模型需要处理的不再只是文字,而是来自不同信息形式的组合,并将它们转化为可以推理和回答的内容。
由面壁智能与 OpenBMB 社区推出的 MiniCPM-V 4.7,正是一款面向视觉理解任务的多模态视觉语言模型。它采用 35B-A3B 混合专家(MoE)架构,总参数量达到 35B,但每个 Token 仅激活约 3B 参数,在保留较大模型能力的同时,有效控制推理时的计算开销。
在视觉理解方面,MiniCPM-V 4.7 支持单图、多图和视频理解,能够处理不同类型的视觉输入。模型引入 Canvas M-RoPE 视觉位置编码与高效视觉压缩技术,帮助模型更好地捕捉图像中的空间关系和细节信息。面对复杂视觉内容,它不仅可以识别画面里的对象,还能结合上下文理解图像信息,并完成相应的问答与分析任务。
更有意思的是,这样一个拥有 35B 总参数量的模型,并不一定要依赖大型服务器才能运行。MiniCPM-V 4.7 针对端侧推理进行了专门优化:通过前瞻专家调度(Lookahead Expert Scheduling,LES)等技术,改善 MoE 模型的专家调用效率,在不牺牲模型性能的前提下实现流畅的端侧推理;结合精细化层级量化、DSpark 投机采样等技术,进一步降低运行开销。官方展示中,模型甚至能够在 iPhone 17 Pro Max 上以约 3GB 内存实现 13+ tokens/s 的解码速度。也就是说,多模态模型不一定非得待在云端,拿起手机也能体验一把视觉理解能力。
HyperAI 现已上线「MiniCPM-V 4.7:多模态视觉语言大模型(35B-A3B MoE)」,低门槛体验模型如何理解图像等视觉输入,并进一步了解混合专家架构如何通过专家调度与推理优化,在模型规模、计算开销和实际运行效率之间取得平衡。
在线运行:
https://go.hyper.ai/w8kGy
更多在线教程:
https://hyper.ai/notebooks

demo 页面
Demo 运行
1. 进入 hyper.ai 首页后,选择「教程」页面,或点击「查看更多教程」,选择「MiniCPM-V 4.7:多模态视觉语言大模型(35B-A3B MoE)」,点击「运行此教程」。


2.页面跳转后,点击右上角「Clone」,将该教程克隆至自己的容器中。
注:页面右上角支持切换语言,目前提供中文及英文两种语言,本教程文章以英文为例进行步骤展示。

3. 选择「2 x NVIDIA GeForce RTX 5090 (32 GB)」以及对应镜像,点击「Continue job execution(继续执行)」。

4.等待分配资源,当状态变为「Running(运行中)」后,点击「Open Workspace」进入 Jupyter Workspace。

效果展示


2.待运行完毕后,点击右侧 API 地址即可在访问 demo。








