
给大模型「投机解码」松绑:免训练,即插即用近似验证,速度再提15% (opens in a new tab)
北航、清华、港大、北大联合团队提出近似投机解码(ASD),作为即插即用的验证器模块,在严格预算内接受极少数低遗憾分歧字并复用大模型已算好的后缀,免训练地挂载于DSpark、EAGLE3、Medusa等主流投机解码算法,吞吐最高提升15.26%。
Total 1517 articles

北航、清华、港大、北大联合团队提出近似投机解码(ASD),作为即插即用的验证器模块,在严格预算内接受极少数低遗憾分歧字并复用大模型已算好的后缀,免训练地挂载于DSpark、EAGLE3、Medusa等主流投机解码算法,吞吐最高提升15.26%。

Anthropic发布Fable 5.1,推出"上下文一致性验证"机制,严格锁定API返回的"思考块",任何修改上下文的行为将被直接报错,从而彻底切断通过API蒸馏大模型推理过程的后路。

不得了!国产大模型第一梯队,最近爆了个冷门。

Full Attention 层尚未开始计算,它前一层的激活值已提前「冲上峰值」—— 这就像演唱会主角尚未登台,观众席已提前沸腾。来自 StartLux、清华大学等机构的研究者以 Massive Activations 为探针,首次系统刻画了少数 Full Attention 层在混合线性注意力大模型中留下的「跨层痕迹」,并识别出「注意力前尖峰」(PAS)与「尖峰间平台」(ISP)两种核心形态。

全世界刷屏的“牛来大模型”,到底是谁家的牛?

深圳全域智能科技有限公司(以下简称全域智能)近日完成种子+轮融资。本轮融资由招商局创投领投,深担创投、三七互娱跟投,以及老股东同学村创投继续加注。这笔钱只有一个去处:训练脑机接口基座大模型。

《读佳》获知,阿里旗下的虎鲸文娱集团已自研完成“虎鲸AI大模型”,并且正在内测一款全新的AI视频内容创作工具“虎鲸AI”,该工具部分功能需要充值才能使用,整个项目的研发测试或至少有半年以上。

Scaling Law还在,但今天的大模型,已经不能只靠“参数量”来理解Scaling了。

大模型的版本告一段落,AI应用的新版本已经到来。

面对大模型规模与硬件内存之间高达20倍的算力鸿沟,不重训的“1比特量化”如何把千亿参数的硅基大脑塞进微型设备?