AI news

17岁天才少年陈广宇,宣布离开Kimi

By 丸美小沐2 viewsSource: 夕小瑶科技说
17岁天才少年陈广宇,宣布离开Kimi

今天,曾因 Attention Residuals 论文走红的 AI 少年陈广宇(Nathan Chen),宣布离开 Kimi。

The full text has not been translated yet. The Chinese original is shown below.

今天,曾因 Attention Residuals 论文走红的AI 少年陈广宇(Nathan Chen),宣布离开 Kimi。

16岁入职月之暗面,17岁挂出顶会级架构论文一作,深度参与Kimi K3与底层内核研发。

他在 X 上发了一篇告别帖,回顾了自己在 Kimi 参与的几项重要工作,也感谢了曾经一起做研究的同事。

文章配图

从去年11月加入月之暗面,到如今离开,前后还不到一年。

◈16 岁被杜雨伦发掘,加入 Kimi

事情要从一年前说起。

当时把陈广宇招进月之暗面的伯乐,是月暗的核心技术大牛杜雨伦(@Yulun_Du)。杜雨伦此前在 MIT 攻读博士,也是生成模型领域公认的顶级学者。

陈广宇在告别推文里特别提到了这一笔:

在 Kimi 的过去一年是我人生中最美好的一年。 感谢一切,尤其是杜雨伦当年相信并聘用了一个 16 岁的我。

16 岁很多同龄人还在刷高考五三模拟题,而他已经被扔进了国内最顶级的 LLM 炼丹炉深水区,直接怼上了最硬核的硬仗。

文章配图

按照陈广宇梳理的时间线,他在 Kimi 这一年干的核心大事有这些:

  1. 优化 KDA 内核和团队里的张宇(@yzhang_cs)一起,死磕 KDA(Kimi Delta Attention)的高性能 Kernel,把所有可能的设计都拉通试了一遍;
  2. 重构注意力残差拉着大名鼎鼎的「苏神」苏剑林(@Jianlin_S)和张宇,共同构思并完善了 Attention Residuals 架构;
  3. 猛攻优化器与训练动力学在最底层的训练动态里摸爬滚打;
  4. K3 震撼发布背后的操盘手之一一边和队友看世界杯,一边给 Kimi K3 赶制发布案例。

这个战绩哪是少年班实习生,这分明是顶在大模型前沿阵地扛大梁的重装战士。

文章配图

◈和苏神一起搞发明,改写 Transformer 沿用了十年的残差连接

在陈广宇交出的成绩单里,最炸裂的一张名片,叫Attention Residuals(AttnRes)。

在今年 3 月,月之暗面公开的论文(arXiv:2603.15031)里,陈广宇的名字赫然排在第一作者。和他并列署名的,正是苏剑林、张宇、杜雨伦、吴育昕以及杨植麟本人。

文章配图

这项工作究竟有多硬核?

读者朋友们都知道,目前的 Transformer 模型之所以能叠到几十层甚至上百层,全靠残差连接(Residual Connection)。

但沿用了十年的经典残差,有一个让整个学术界头疼的缺陷:等权累加。

每一层网络的输出,都以 1:1 的权重强行加进主干通道。层数一旦叠深,主干数据流就会迅速膨胀。

到了最顶层,新加入的深层特征在浩如烟海的历史累加里占的比例微乎其微——这就是大模型越深越难驯服、容易出现表征退化的“PreNorm 稀释病”。

陈广宇、苏剑林与月暗团队终结了残差连接十年来的规则。

他们提出的 Attention Residuals(AttnRes),让每一层在回看前面所有层时,引入了一套轻量级的注意力打分:每一层可以根据当前上下文,自己决定给前面哪一层分配更多权重,按需汲取历史表征。

文章配图

但如果每一层都对前面所有层做全量注意力,计算复杂度会随着网络深度呈平方级暴增。

为了砍掉这笔开销,他们又推导出了分块注意力残差(Block AttnRes):把上百层网络拆成若干区间块,块内精细打分,跨块用锚点通信。

文章配图

在 Kimi 48B 模型的实测里:

  • 逻辑推理基准GPQA-Diamond直接爆拉了7.5分(从36.9冲到44.4);
  • 代码生成HumanEval提升了3.1分。

一个16岁的少年和行业顶尖的架构师们一起,把 Transformer 的基础构件给翻新了一遍。

文章配图

◈英雄出少年背后,大模型研发正把资历彻底清零

陈广宇的下一站去哪里?

他在推特里只留下了一个俏皮的敬礼表情:「More things to explore(还有更多东西要去探索)」。

有人猜测他可能要重返校园完成学业,也有人推测他会被北美顶级实验室或更具野心的初创团队挖走。

文章配图

但他的离职推文在今天引发震动的深层原因,其实击中了每一个 AI 从业者的内心。

在过去的传统软件工程里,一个架构师往往需要十年、十五年的工程积累,靠堆砌项目经历和代码量爬上去。

但在今天的大模型时代,传统的经验壁垒正在以肉眼可见的速度崩塌。

底层算子的极致优化、注意力机制的数学推导、上千卡分布式集群的动态追踪,这些前沿领域里很多甚至没有现成教科书可抄,全世界的顶尖头脑都在同一条起跑线上摸索。

文章配图

在这里,16 岁少年的纯粹直觉和学习曲线,真的可以正面迎战行业老兵。

陈广宇的经历就是个例子。

2025年初,他还在通过阅读论文、借助 AI 工具理解机器学习中的基础概念。

到了几个月后,他已经开始编写底层计算内核,在开源社区分享自己的研究。

不到两年时间,他已经参与到大模型核心架构的研究之中。

感谢这位 16 岁的少年给国产开源模型留下的那些优雅内核与残差公式。

正如他自己写下的那句话,模型世界浩瀚无垠,属于这一代极客少年的探索,才刚刚拉开序幕。

毕竟,他才17岁。

未来还有很多问题等着他去探索。

文章来自于"夕小瑶科技说",作者 "丸美小沐"。

Related topics

After reading

Join the AINRK community

Read how to join the community and connect with people working in AI.

Community information (opens in a new tab)