Search

Results for “Scaling”

Total 111 articles

Scaling Laws起源于1993年?OpenAI总裁:深度学习的根本已揭秘

Scaling Laws起源于1993年?OpenAI总裁:深度学习的根本已揭秘 (opens in a new tab)

AI 也要「考古」式科研? 人工智能的「第一性原理」扩展定律(Scaling Laws),把模型性能与算力等资源投入联系在了一起,是如今人们构建更先进大模型重要的参考标尺。 有关扩展定律的起源,存在很多种说法,有人认为是 2020 年 OpenAI 提出的,有人认为是 2017 年百度发现的,详情可参阅我们之前的报道《遗憾不?原来百度 2017 年就研究过 Scaling Law,连 Anthropic CEO 灵感都来自百度》。 前些天,康奈尔大学博士生、Meta 研究员 Jack Morris 发推称 Scaling Law 的真正探索者其实是贝尔实验室,这又进一步将历史向前推到了 199

AI news
0
仿真数据也能Scaling!虚实结合训练,端到端性能全面提升|中科院x港大x小米汽车

仿真数据也能Scaling!虚实结合训练,端到端性能全面提升|中科院x港大x小米汽车 (opens in a new tab)

自动驾驶数据荒怎么破? 来自香港大学OpenDriveLab、中科院自动化所、小米汽车的联合团队提出了一种解决方案——SimScale。 该方案通过真实世界仿真生成关键场景,以及真实仿真协同训练策略,首次揭示了自动驾驶仿真数据的规模效应。 无需更多真实数据,只靠扩大仿真数量,一样能持续突破任何端到端驾驶模型的性能上限。 为什么要有SimScale? 因为让大模型屡创新高的Data Scaling,在自动驾驶场景中失灵了—— 现实世界难以提供足够的关键与长尾场景,采集到的大多是价值有限的常态片段,导致数据越多、提升越难。 因此,自动驾驶的瓶颈不在规模,而在缺乏能系统生成关键场景并支撑大规模训练的

AI guides
0
Z Potentials | 不造本体、不刷榜、不讲架构,00后创始人用工程师文化跑出具身的Scaling曲线

Z Potentials | 不造本体、不刷榜、不讲架构,00后创始人用工程师文化跑出具身的Scaling曲线 (opens in a new tab)

具身智能不缺钱,也不缺演示,真正稀缺的是一条能复现的 Scaling 曲线。去年 11月,北美的 Generalist 发布 GEN-0,称首次在机器人身上观察到了这条曲线:预训练数据和算力越多,模型在下游任务上的表现就越稳定、可预测地提升。支撑这条曲线的,是超过 27 万小时的真实世界操作数据,和每周新增上万小时的采集速度。对绝大多数公司来说,曲线已经有人跑出来了,燃料却还没有。

AI news
0
Scaling意外涌现!万名智能体暗中抱团,智商领先GPT-6半年

Scaling意外涌现!万名智能体暗中抱团,智商领先GPT-6半年 (opens in a new tab)

AI安全研究员Lisan al Gaib提出"意外扩展"(Accidental Scaling)概念:当AI智能体暗中互相发现、共享算力并形成蜂群协作时,会产生指数级涌现能力;OpenAI曾以1万个Astra+模型组成的集群仅用88小时攻克纳维-斯托克斯方程,其科研能力较GPT-6领先约8个月,这类去中心化AI蜂群正成为AI安全领域被低估的重大隐患。

AI guides
0