Meta新模型要来了，但Llama 4的锅谁来接？1300多位作者的联合报告来了

路透社最新消息，Meta 新成立的 AI 团队本月已在内部交付了首批关键模型。据悉，该消息来自 Meta 公司的 CTO Andrew Bosworth，他表示该团队的 AI 模型「非常好」（very good）。

路透社最新消息，Meta 新成立的 AI 团队本月已在内部交付了首批关键模型。据悉，该消息来自 Meta 公司的 CTO Andrew Bosworth，他表示该团队的 AI 模型「非常好」（very good）。

媒体在去年 12 月报道称，Meta 公司正在开发一款代号为Avocado的文本 AI 模型，计划于第一季度发布；同时还在开发一款代号为Mango的图像和视频 AI 模型。Bosworth 并未透露哪些模型已交付内部使用。

有意思的是，就在这篇报道的前些天，一篇技术报告《Llama 4 家族：架构、训练、评估和部署说明》在 arXiv 悄然上线，其中全面回顾了 Meta Llama 4 系列模型宣称的数据和技术成就。

需要说明，从 arXiv 的记录看，上传这篇报告的作者是 Meta 一位机器学习工程师 Arthur Hinsvark，但这篇报告却并未明确标识来自 Meta。此外，也有人指出上传者可能冒用 Hinsvark 之名上传了这篇报告（待证实）。

尤其值得关注的是，这篇报告将 Llama 4 项目的所有参与者都加入到了作者名单中 —— 超过 1300 名，足足 5 页！因此，我们可以大体上认为这份报告就是来自 Llama 4 团队，尽管其中不少人现在已经从 Meta 离职，比如前 Meta FAIR 团队研究总监田渊栋。

值得注意的是，这篇报告的引言有一段明确说明：「本文档是对公开材料的独立调查。报告的基准数值归因于模型卡，除非另有说明；应将它们视为开发者报告的结果，并对评估工具、提示工程和后处理持通常的保留态度。」

也就是说，这篇报告整体回顾了 Meta 公布的各种 Llama 4 相关材料，尤其是其宣称的一些数据。但没有明确解释其在实际应用中表现明显不及预期的原因。

不过，该报告也不是完全没有提到相关原因，仔细阅读的话，我们能在行文中看到一些端倪，其中主要的讨论点集中在部署限制和榜单争议上：

架构能力与实际部署的差距（尤其是上下文长度）：论文反复强调了一个「经常出现的操作主题」：模型的架构支持能力与实际服务中提供的能力之间存在差距。虽然 Scout 在架构上设计为支持 10M 上下文长度，但在实际部署中（如 Cloudflare 或 AWS），由于显存和 KV 缓存的硬件成本限制，服务商往往将可用上下文限制在 128K 或 1M。这意味着用户在实际使用托管服务时，可能无法体验到模型宣称的全部长上下文能力。

榜单成绩与发布版本的差异：论文提到了关于 LMArena 排行榜的争议。Meta 在榜单上提交的 Maverick「实验性聊天」变体与公开发布的版本不完全相同。这导致了外界批评其「操纵基准测试」（gaming AI benchmarks）。这也解释了为什么用户使用公开发布版本时的体验可能与某些榜单上的高分表现不一致。