搜索

关于“PoS”的结果

共 55 篇

曝字节训10万亿参数大模型,或超Mythos 5,张一鸣、梁汝波先后发声

曝字节训10万亿参数大模型,或超Mythos 5,张一鸣、梁汝波先后发声(在新窗口打开)

今天,英国《金融时报》援引知情人士报道,字节跳动正在训练一个参数量高达10万亿的AI模型。而这一数字,在昨日晚间的晚点LatePost独家报道中还是“超5万亿”。即使是5万亿,这一模型的规模也已经超过目前中国已发布的最大模型Kimi K3,接近Anthropic的Fable 5;如果是10万亿,那字节的新模型规模将超越约有8万亿参数的Mythos 5。

AI资讯
0
名师一定出高徒?清华团队最新揭秘:别再迷信大模型蒸馏的「免费午餐」

名师一定出高徒?清华团队最新揭秘:别再迷信大模型蒸馏的「免费午餐」(在新窗口打开)

当下的大模型后训练(Post-training)pipeline 中,On-Policy Distillation(OPD)已经成为了明星技术。从 Qwen3、MiMo 到 GLM-5,业界纷纷采用 OPD 并报告了巨大的性能提升。相比于强化学习(RL)稀疏的结果奖励,OPD 提供了密集的 Token 级别监督信号,看起来就像是一顿「免费的午餐」。

AI技术文章
0
CoRL 2026 | 0条带力数据预训练!上海交大卢策吾、汶川团队让VLA学会力

CoRL 2026 | 0条带力数据预训练!上海交大卢策吾、汶川团队让VLA学会力(在新窗口打开)

上海交通大学卢策吾、汶川团队联合穹彻提出LIFT(Late Reactive Injection of Force for VLA Post-Training),被CoRL 2026高分收录,该方法在保留预训练知识的前提下,仅通过20至30条在线带力数据后训练即可让VLA学会力反馈,显著提升叠毛巾、插书、汉诺塔圆环放置等接触密集型任务表现。

AI技术文章
0