AI news

MiniCPM-V 4.7 手机端实验以专家调度降低推理内存

By 冷猫1 viewsSource: 机器之心
MiniCPM-V 4.7 手机端实验以专家调度降低推理内存

团队展示在 iPhone 18 Pro Max 上运行量化后的 MiniCPM-V 4.7。文章解释约 3GB 峰值运行内存与约 15GB 权重存储的区别。

The full text has not been translated yet. The Chinese original is shown below.

编辑更正(2026年11月10日)约 3GB 指文中配置的峰值运行内存,完整权重还需存储空间。专家按需调度与混合精度量化是两个独立的优化环节。

上世纪 40 年代,计算机还是占据一整个房间的庞然大物。它们体积庞大、造价高昂,只有少数科研机构和大型组织能够使用。那时,计算是一种昂贵而稀缺的资源。

但直到今天,仅仅是普通人手里的 iPhone,单位体积里的计算能力都已提高了数十亿倍。那时的人不会想到,全世界大部分的计算都在每个人的桌上和口袋里完成。

文章配图

历史是个圈,智能的发展也一样。

从 GPT 掀起大模型浪潮开始,能够被用户感知的「智能」就集中在少数科技巨头的数据中心里,运行在云端。而大模型诞生伊始的我们,也没有料到仅仅数年后,一个超越了 GPT-4V 级别智能的模型,能够流畅运行在手机上。

文章配图

端侧智能的多次降临。横轴是时间,纵轴是参数量。颜色代表模型表现,红色表示性能较强,蓝色表示较弱。

近期,面壁智能联合 OpenBMB 社区开源了 MiniCPM-V 4.7。其中的 35B-A3B 版本,是一个350 亿参数的 MoE 多模态模型,在手机上只占约 3GB 内存,在最新的 iPhone 18 Pro Max 上速度已经超过每秒 30 个 token。

让我们来看看,一个打开了飞行模式的 iPad,运行 MiniCPM-V 4.7-35B-A3B 端侧模型,执行多模态任务的实机录屏表现。

文章配图

作为完全本机运行的 35B 参数模型,表现真的很惊艳。回答准确的同时,输出速度依旧可观,保持在一个体感流畅,但也不至于让人眼花缭乱的速度。多模态能力也很强劲,对手写的数学解题也能够准确识别。

MiniCPM 真的从当年的「小钢炮」进化成了端侧运行的能力全面的性能猛兽。

「从 2024 年开始,我们就说要做端侧智能,当时它还是一个远景。到了今天,这个远景已经变成了近景。」面壁智能联合创始人、首席科学家刘知远说。

这款模型背后,是面壁智能多模态大模型实验室。实验室由面壁智能联席首席科学家、清华大学人工智能学院助理教授姚远领衔。

在 MiniCPM-V 4.7 到来后,姚远认为,我们已经来到了「端侧智能的撞线前夜」,而端侧智能的未来,会更加不可思议。

「2 年内 GPT-6 (级别的智能)到手机上,我们觉得是没什么问题的」。

端侧智能的「三驾马车」:

模型、硬件与 Infra

MiniCPM-V 4.7 35B-A3B 是一款在端侧演示过的开放权重 MoE 多模态模型。演示配置结合了按需加载专家和混合精度量化。而 1B 版本则延续 MiniCPM-V 4.6 的路线,主打入门级设备和端侧智能普惠。

前者负责摸高。在官方公布的 34 项基准测评中,35B-A3B 在通用视觉、数学推理、OCR 与图表理解、长视频等任务上领先 Qwen3.6-35B-A3B,也超过了 Qwen 27B 和 Gemma-4 31B。这一代模型的智能水平,「超过 2023 年的云端旗舰 GPT-4V,应该是大家都能认同的」。

文章配图

后者负责铺开。1B 版本在 OCR、图表推理和多图理解上占优于 Qwen3.5-0.8B,以及更大一些的 LFM2.5-VL 1.6B 和 Gemma-4 ,千元级手机也能流畅运行。

文章配图

对于内存、算力和功耗都受到严格限制的端侧设备来说,模型有多强固然重要,但更关键的是,能用多小的代价获得多强的智能,也就是更高的「能力密度」。MiniCPM-V 4.7 的两个版本,都在各自的参数规模上推动了多模态模型的「性能 — 效率帕累托前沿」。

文章配图

MiniCPM-V 4.7 的优异表现,也让我们得以重新审视端侧智能的进步的驱动力。端侧智能的发展离不开三个关键因素:模型、硬件和基础设施(Infra),是推动端侧智能发展的「三驾马车」。

文章配图

模型:把智能密度逼向物理极限

模型这一侧,面壁智能的主线始终是智能密度。

端侧对密度的要求格外苛刻。人脑的功耗约 20 瓦,一台 8 卡 AI 服务器满载要超过 1 万瓦,手机日常只有几瓦的预算,跑一个 20 瓦的程序,用不了多久就会发烫掉电。「自然早已证明,智能可以极其高效。」

所以,对于一个端侧多模态大模型而言,最重要的是「看、想、学」,用更少的计算看清世界,用更少的步骤想清问题,用更低的成本学会新本事。

「看」是最贵的一环。MiniCPM-V 系列的视觉压缩也一代比一代来得早。3D-Resampler 把连续 6 帧视频一起压缩,只用 64 个 token,压缩率达到 96 倍;这一代沿用的 LLaVA-UHD v4,把压缩提前到视觉编码器内部,编码计算量减少 55.8%,并支持 4 倍和 16 倍两档压缩率按需切换。

「想」靠后训练。从人工逐句纠错的 RLHF-V,到让开源模型逐条核对的 RLAIF-V,再到用模型自身置信度作为奖励、不需要判卷器的 RLPR,奖励越来越便宜,模型也能用更短的推理时间答对更难的题。「奖励能走多远,推理就能走多远。」

「学」解决的是遗忘。微调前先让模型回答一批通用问题,把高质量回答混进新任务数据一起训练,新任务能学会,旧能力也不丢,在 4 个开源模型上遗忘减少了 80% 到 99%。

硬件:出厂即定的预算

面壁团队定位清晰,模型和 Infra 坚持自研,芯片交给合作伙伴。 硬件决定了端侧智能的算力预算,也决定了模型和 Infra 能发挥多大作用。

云端的算力、内存和带宽可以按需扩容,而端侧设备一旦出厂,资源就基本固定了。眼下,存储芯片价格持续上涨,在部分手机的物料成本中已占到三到五成,12GB 内存也逐渐成为 AI 手机的及格线。内存越贵,如何用更少的资源运行更强的模型,就越有价值。

不过,硬件本身也正在迎来变化。姚远提到,受芯片研发周期影响,2026 年之前,许多手机 NPU 仍主要针对 CNN、RNN 等早期架构优化。而新一代芯片开始原生支持 Transformer 的自注意力计算,有望进一步释放端侧模型的性能。

围绕硬件生态,面壁也在持续扩大合作网络。MiniCPM-V 4.7 发布当天,便完成了对 AMD、Apple、Arm、Intel、NVIDIA、瑞芯微、后摩智能等平台的适配,并通过众智 FlagOS 软件栈支持华为、海光、昆仑芯、摩尔线程、沐曦等国产 AI 芯片。此外,面壁还与高通、联发科技、紫光展锐、爱芯元智等厂商展开了深度协同。

Infra:有多少内存,并不等于有多少智能

这次最受关注的,是第三驾马车。

2024 年,面壁把 8B 模型放上 iPad;2025 年,把 4B 模型放上 iPhone。如果端侧一直跑稠密模型,设备有多少可用内存,就只能装多大的模型、提供多少智能。

「难道有多少内存,就代表有多少智能吗?如果是这样,端侧模型能力的上界就被内存上限堵住了。」而要突破这一上限的方式,正是 Infra 层。Infra 要做的,就是在有限的资源中找到最优分配方式。

MiniCPM-V 4.7 的核心解法叫前瞻专家调度(Lookahead Expert Scheduling,LES)。

文章配图

以 35B-A3B 为例,即便采用较激进的 4 比特量化,模型权重仍有约 15GB,远超手机的可用内存。

但手机还有容量大得多的闪存。MoE 模型的参数分散在不同专家中,每生成一个 token,每层只需激活少数专家。如果把专家权重存放在闪存中,需要时再加载到内存,就能将内存峰值控制在约 3GB。

问题是,如何让数据搬运足够快,不拖慢推理?

一个直观的思路是「提前加载」:在计算第 L 层时,预先读取第 L+1 层需要的专家,让数据读取和计算并行。

但难点在于,下一层需要哪些专家,必须等它的路由计算完成才能确定。 而一层的计算时间只有约 1.25 毫秒,仅够读取大约 8 个专家,远不足以遍历全部 256 个专家。

LES 的思路是提前预测。研究团队发现,得益于 Transformer 的残差结构,相邻层的隐藏状态变化通常较小,专家选择也具有一定的稳定性。利用这一特点,LES 可以在当前层计算时,提前预测下一层需要的专家,并在后台加载对应权重。这相当于让计算和数据搬运同时进行。

文章配图

更巧妙的是,LES 只改变权重加载的时机,不改变模型实际选择的专家,因此能够在不损失精度的情况下提升速度。

配合权重存储优化、混合精度量化和 DSpark 投机解码,35B-A3B 在发布时已实现 iPhone 17 Pro Max 上超过 13 token/s、iPad Pro M4 上超过 17 token/s 的推理速度,在 iPhone 18 Pro Max 上进一步超过 20 token/s。最新的 LES 2.0 更将速度提升至30 token/s 以上,内存占用仍维持在约 3GB,精度损失几乎可以忽略。

三个飞轮,乘法叠加

当我们问到「未来的端侧模型技术的发展方向」时,姚远认为最重要的,是这三驾马车的协同进化。

三者各有分工,又紧密关联。模型提供智能能力,硬件提供计算资源,而 Infra 负责让两者更好地匹配,让硬件提供的每一分算力都尽可能用在模型真正需要的地方,减少中间环节的损耗。

三驾马车各有各的节奏。硬件的飞轮一直在转,但一代芯片从设计到量产往往需要数年;模型的飞轮则在 2024 年开始加速,智能密度大约每 3.5 个月翻一番;Infra 的飞轮启动得最晚,却转得最快。

文章配图

更值得关注的是,这三方面的进步能够相互放大。如果模型、硬件和 Infra 各自持续进步,三者的收益以乘积方式叠加,整体可能获得五到六倍以上的增益;如果进一步协同设计,增益还有机会超过七到八倍。

但这并不意味着其中某一环可以取代另一环。当被问到 Infra 是否已经比模型更重要时,姚远强调,模型始终决定了智能能力的边界。「它做不到就是做不到,你把它快一万倍,输出也是 0。」

反过来,如果模型已经具备某项能力,却因为运行太慢而无法使用,那么 Infra 的价值就会变得非常突出。模型的架构和计算方式发生变化,Infra 也需要随之调整。

端侧智能的竞争,越来越接近一场全栈系统工程。单靠某一代模型的领先,或某一项推理优化,很难建立长期优势。真正的挑战是理解模型、硬件和应用的发展方向,再把它们有效地结合起来。

智能体时代的到来,也为端侧软硬协同带来了全新的趋势。

过去,底层算子主要由工程师手工编写,出于开发成本和维护需求,往往需要考虑跨模型、跨芯片的复用性。现在,AI 可以针对某一代模型、某一款芯片自动生成和优化算子,甚至不必过多考虑复用性。

姚远透露,面壁智能内部已经有智能进化实验室在探索这一方向,并且已登顶英伟达、华为官方算子榜。在他看来,AI 自动编写算子有望进一步释放端侧硬件的潜力,也为未来的软硬件协同打开了新的想象空间。

对于三驾马车之间可能出现的瓶颈,姚远并不悲观。在他看来,短期内某一环可能会成为制约,但随着模型、硬件和 Infra 不断相互适应,这些限制也会逐渐被突破,「会在动态的过程中趋于完全贴合,最大地发挥端侧智能的上限。」

端侧智能的「撞线前夜」:

从端云协同到智能平权

端侧智能的未来,可以从用户对智能的需求说起。

用户对于智能需求分成两类。一类几乎没有上限,比如开发软件、设计芯片,智能越强越好,但真正有这类需求的人并不多。另一类则是绝大多数人的日常需求,它有一个相对稳定的上限。

姚远认为,未来 10% 对智能要求极高、没有明确上限的需求留在云端,90% 有上限的日常需求则会逐渐转移到端侧。

而智能供给一侧,端侧模型的能力正在快速提升。从最初的文本续写、信息抽取,到如今的图像和视频理解,再到工具调用,越来越多的日常需求已经能够在本地得到满足。

「用户不需要关心具体如何实现,只要这件事已经能做到,大家自然希望把它留在端侧完成。」

姚远认为,计算技术的发展也遵循着类似的规律。从大型机到个人电脑,再到移动智能时代,每一次计算平台的变迁,背后都有技术供给与用户需求的「撞线」。

「宏观上我们看到的是成功公司的迭代,底层可能是技术供给与需求撞线,自然形成了时代的划分。」

当计算能力还不足以满足某类需求时,相关应用就很难普及;一旦能力跨过门槛,新的应用和产业机会便会随之出现。

今天的端侧智能,就像只有 256KB 内存的 PC 时代,通用智能看起来还很远,但必然会到来。

推动智能平权的到来

35B 上手机之后,一个常被问到的问题是,端侧到底该把模型做小,还是做大。

端侧过去一直强调把模型做小,现在却要在手机上跑更大的模型,路线是不是变了?姚远的回答是,两件事从来不矛盾。把模型做小,是为了在同样的硬件上对标更强的模型;硬件在持续进步,能装进去的旗舰模型自然会越来越大。从最早的 1B、2B,到后来的 7B、8B,再到今天的 35B-A3B,面壁智能的目标一直是「在端侧上提供最强的智能」。

这也是他认为端侧和云端模型底层逻辑不同的地方。云端通常拥有更充裕、可扩展的计算资源,可以通过增加参数和算力换取性能提升。端侧却受到内存、芯片性能和功耗的严格限制,每一分资源都需要精打细算。

在姚远看来,如果硬件明明还有潜力,却因为模型和推理技术的限制无法发挥出来,就是一种浪费。因此,面壁选择同时推进两条路线:一条是「摸高」,不断突破端侧智能的能力上限;另一条是「普惠」,让更多普通设备也能运行足够强大的模型。

低门槛的一侧已经落地。上一代 MiniCPM-V 4.6 就已经能在苹果、安卓和鸿蒙的千元机上流畅运行,几百元的设备也能达到每秒 15 个 token 以上,这一代的 1B 版本继续沿着这条线升级。

让端侧智能普及,不能只等更贵、更强的手机出现,也要让已有的普通设备运行更好的模型。

开源,把门槛再降一点

除了让模型能够运行在更多设备上,面壁智能还希望通过开源,让更多开发者和普通用户真正用起来。

此次 MiniCPM-V 4.7 发布,面壁同步开放了模型权重、端侧推理代码、App 安装包和微调方案。只要使用相同的设备,开发者下载后就能复现官方演示的效果,是可以接受开源社区验证的。

「最懂一个场景的,是身在其中的人。」研究团队认为,实验室训练的通用模型可以解决许多问题,但真实世界中还有大量细分需求,分散在不同人的工作和生活中。

文章配图

面壁智能希望提供一套足够简单的方法,让开发者能够根据自己的场景快速调整模型,教会它新任务,同时尽量保留原有能力。

对于没有技术背景的普通用户,团队也在进一步降低门槛。团队介绍,未来计划将模型以 Skill 的形式接入各类智能体。用户只需要把官网链接发给自己常用的智能体,说一句「我要用这个模型」,就能完成调用。新发布的 MiniCPM OCR 已经提供了类似入口,后续 MiniCPM-V 系列也计划跟进。

从下载模型、配置环境到调用能力,原本需要开发者完成的一系列操作,未来可能只需要一句自然语言指令。

开源也在为面壁带来商业机会。

海外社区中,也已经有开发者利用 MiniCPM 开发智能眼镜、App 等产品。这些由开发者自主探索的应用,未来都有可能成为商业化的起点。

对于面壁而言,开源的价值也正在这里逐渐显现:模型进入更多设备,被更多开发者使用,才能发现实验室里未必看得到的需求,并在真实场景中持续改进。

端侧智能能否迎来自己的时代,最终取决于技术供给能否跨过用户需求的门槛,以及跨过之后,有多少人能够真正享受到它。从追求更强的模型,到降低硬件和使用门槛,再到依靠开源社区拓展应用,面壁正在尝试让这两件事同时发生。

尾声:普惠本身就很伟大

端侧 AI 的硬件基础正在迅速铺开。

IDC 预测,2026 年中国新一代 AI 手机出货量将达到 1.47 亿台,占整体市场的 53%。这意味着,每卖出两部新手机,就有一部具备端侧 AI 能力。

但对于眼下的「AI 原生手机」,姚远觉得「我们对 AI 原生手机的想象力还远远不够。」

「我们只能把一些显而易见的东西让 AI 帮我,很局部地解一下,省掉一点点时间。」未来,也许要思考:理想中的手机是什么样的?抛开现在这些 —— 还是这个思路:用户是很有个性的。想清楚这个形态,再用技术驱动实现,可能是更好的做法。

甚至,「AI 原生手机」这个概念本身也可能只是一个过渡。就像今天已经很少有人刻意强调「智能手机」,未来每部手机都将内置 AI,智能将无处不在。不过,在智能真正无处不在之前,还有一个更现实的问题需要解决:每个人能够获得的智能,是否应该由设备的价格决定?

过去,端侧模型常常不得不随着硬件配置「降级」,价格更低的设备,也意味着更有限的智能。面壁希望改变这种局面,让尽可能多的人,无论手里拿着什么设备,都能享受到足够好的 AI 能力。

「普惠这件事本身就足够伟大。」姚远说。

普惠最重要的价值,是让那些经济和物质条件尚未达到某个门槛的人,也能用上最好的技术。更重要的是,他们获得的不仅是使用工具的机会,还有参与创造的可能。

AI 编程已经让许多没有专业编程背景的人能够独立开发软件,普通人也开始借助大模型解决过去需要专业知识才能处理的问题。当智能的使用门槛足够低,更多人就有机会把自己的想法变成现实。

回头看,端侧智能的进步已经足够惊人。

三年前,GPT-4V 这样的云端旗舰模型,似乎还与手机隔着难以跨越的算力鸿沟。而今天,在部分能力上能够超越昔日云端旗舰的模型,已经可以运行在一部断网的 iPhone 上。

从云端到掌心,曾经只有少数云端智能厂商才能提供的智能,正在进入越来越普通的设备。衡量 AI 进步的尺度,除了最强的模型究竟有多聪明,还应该看看,有多少人能够真正用上这些智能。

当一部几百元的手机,也能为它的主人提供足够强大的智能支持时,AI 带来的改变才会真正深入到更多人的生活中。

而面壁智能正在做的,就是让这样的未来早一点到来。

文章来自于"机器之心",作者 "冷猫"。

Related topics

After reading

Join the AINRK community

Read how to join the community and connect with people working in AI.

Community information (opens in a new tab)