搜索

关于“蒸馏”的结果

共 86 篇

HuggingFace CEO力荐,Bengio团队也押注:这个1500美元训出的HRM模型,凭什么火了?

HuggingFace CEO力荐,Bengio团队也押注:这个1500美元训出的HRM模型,凭什么火了?(在新窗口打开)

好家伙,这次不是模型圈自嗨。 一个训练成本约1500美元、参数量约1B、从零开始预训练的小模型,把HRM推到了下一代推理架构讨论的中心。 HuggingFace联合创始人兼CEO Clem Delangue亲自转发推荐。 图灵奖得主Yoshua Bengio作为共同作者参与的新论文,也走向了同一条latent recursive reasoning路线。 更反常的是,它不是蒸馏,不是微调,也不是在已有大模型能力上套壳。 它就是Sapient Intelligence发布的HRM-Text。 如果只看参数量,它很容易被写成一个熟悉的故事:“小模型又赢了。” 但HRM-Text真正值得注意的地方,

AI技术文章
0
谷歌四大巨头齐聚:蒸馏模型的精髓是“挤柠檬”!Gemini 将用自己写的代码“改进”自己!五年后的谷歌可能只有一款产品

谷歌四大巨头齐聚:蒸馏模型的精髓是“挤柠檬”!Gemini 将用自己写的代码“改进”自己!五年后的谷歌可能只有一款产品(在新窗口打开)

“我们有点处在自己的科技泡沫里。” “五年后的谷歌只有一款产品。” “过去我们分散精力和算力,这太蠢了。” 今天,谷歌官方发布了一支重磅对谈视频,Google DeepMind 团队的四位巨头罕见地坐到了同一个镜头前:Google Brain 奠基人 Jeff Dean、Transformer 奠基人之一Noam Shazeer、Gemini 联合负责人 Oriol Vinyals 以及 DeepMind 首席技术官 Koray Kavukcuoglu。 这四个人,几乎参与了过去十多年谷歌 AI 最重要的每一次技术跃迁。 在这场由 Logan Kilpatrick 主持的深度对话中,四位巨头不

AI资讯
0