AI news

只要24GB 内存,能在本地 Mac上跑无限制的Gemma 4 31B了

By 森森AI笔记0 viewsSource: 森森AI笔记
只要24GB 内存,能在本地 Mac上跑无限制的Gemma 4 31B了

有个31B参数的大模型,正常需要80GB显存才能跑。但现在,24GB显存就能跑满血版。这个版本叫Gemma-4-31B-JANG_4M-CRACK——"CRACK"这个词不要理解歪了,它本质是量化压缩加上对齐微调之后的部署版本,不是什么黑客攻击,就是工程优化。24GB,MacBook Pro,直接跑。苹果用户优先优化,MLX原生支持,月下载13000次。

The full text has not been translated yet. The Chinese original is shown below.

文章配图

有个31B参数的大模型,正常需要80GB显存才能跑。

但现在,24GB显存就能跑满血版。

对,就是一台普通MacBook Pro的显存水平。

这个版本叫Gemma-4-31B-JANG_4M-CRACK——"CRACK"这个词不要理解歪了,它本质是量化压缩加上对齐微调之后的部署版本,不是什么黑客攻击,就是工程优化。24GB,MacBook Pro,直接跑。苹果用户优先优化,MLX原生支持,月下载13000次。

说白了:Google做了一个很强的基础模型,但它对硬件要求太高,普通人的机器跑不动。现在有人把它压缩了,压到中高端Mac就能跑——而且压完之后MMLU还能保持在74.5%,只降了2%,几乎无损。

这个数字什么概念?知识理解能力基本没丢,但显存占用从80GB降到了24GB。你的Mac突然就从"跑不动大模型"变成了"能跑31B"。

为什么这次不一样

过去两年,每次聊本地部署大模型,评论区必有人问"Mac能不能跑"——现在答案是能。

Apple Silicon的统一内存架构让24GB统一内存的MacBook Pro成了最性价比的大模型机器。不是最贵的,但最刚好。CPU和GPU共享内存,不需要单独的显卡,不需要服务器,不需要云端——一台笔记本插电跑,就是这么简单。

31B是什么水平?它是目前开源社区最活跃的参数区间之一。足够大,能做复杂推理;又足够小,普通人还能摸到。Google最初发布Gemma 4的时候大家都在讨论,但都面临同一个问题:参数太大,Mac跑不动。现在这个问题被量化压缩解决了。

去限制版本是什么

说清楚一件事:这个版本去掉了Google原版的安全对齐层。

不是"破解",是"去限制版本"——用于安全研究和模型评估。发布者说得很清楚:仅供研究用途,使用者自负法律责任。

那为什么有人要这个东西?因为安全研究员想知道Gemma的真实能力边界在哪。HarmBench的合规分数是"加了限制器之后跑出来的",限制器本身会不会影响模型的能力上限?去限制版本才能回答这个问题。开发者想本地跑一个没有过多限制的模型做测试——这个需求100%合理。

所以月下载量是13000次——这不是"大量普通人在干坏事",而是"技术社区在认真研究它"。真正需要这种去限制版本的,恰恰是做安全研究的人,不是普通人。

怎么跑

如果你在这几个群体里:安全研究员在评估模型能力边界、ML开发者在做本地测试、或只是想在自己Mac上试试大模型能做什么——HuggingFace上有完整的部署指南,MLX支持意味着可以用苹果官方工具链直接跑,不需要配置特殊环境,不需要命令行老手,参照文档一步步来就行。

链接:https://huggingface.co/dealignai/Gemma-4-31B-JANG_4M-CRACK

这不是大模型的终局,但可能是苹果用户本地跑大模型的开始。

24GB统一内存,31B参数,基本够用了——前提是你真的想折腾。

文章来自于微信公众号 "森森AI笔记",作者 "森森AI笔记"

Related topics

After reading

Join the AINRK community

Read how to join the community and connect with people working in AI.

Community information (opens in a new tab)