AI news

上海交大00后团队融资数千万,让Agent做定制的自进化推理引擎

By 智能涌现0 viewsSource: 智能涌现
上海交大00后团队融资数千万,让Agent做定制的自进化推理引擎

上海交大00后团队创办的芯生代完成数千万元种子轮融资,计划让Agent为不同模型、芯片和场景生成可自我迭代的定制推理引擎,其EvoKernel框架已将昇腾算子生成正确率从4%提升至83%。

The full text has not been translated yet. The Chinese original is shown below.

文章配图

《智能涌现》独家获悉,近日,由上海交大00后团队创办的公司芯生代已完成数千万元种子轮融资,启高资本、交大菡源母基金、元生创投联合投资。此前,他们还完成了由交大AI未来基金参与的Pre-Seed轮融资。

AI写算子的正确率,正在以肉眼可见的速度提升。

算子,简单来说,就是跑在芯片上的底层代码,是模型计算过程中的核心组件,算子的代码实现及其优化,直接影响模型能否高效利用芯片算力。九月中旬,DeepSeek工程师刘胜与的一篇长文在各个平台上爆火。他预测,半年至一年内,AI写的算子质量大概率会追上乃至超越他自己。

不过,这件事目前主要发生在英伟达的CUDA上。在国产芯片上,AI写算子的准确率却不尽如人意。

两位上海交通大学的硕博连读生,也把目光投向了这个问题。今年3月,他们交出了一篇名为EvoKernel的论文,后被ICML 2026录用。这是一项面向昇腾算子生成的工作,他们提出了一种名为价值驱动记忆(Value-Driven Memory)的框架,让模型优先调用最有价值的经验,无需重新训练模型或者标注新数据,用记忆的方式解决国产平台上算子生成正确率低的问题。

优化前,AI在昇腾上写算子只有4%的正确率;在李卓团队的探索中,他们让模型把一次次试错的经验沉淀成记忆,使AI在国产卡的算子生成正确率升至83%。

订单来得很快,在公司还没有正式成立的时候,他们就凭借着EvoKernel论文的相关工作,和多家芯片厂商达成了合作。这也让他们看到了创业的机会。

随着研究的逐步深入,在算子之上,他们看到了一个更大的空白——算力消耗的主战场正在从训练转向推理,在推理侧还存在着大量的性能释放空间,而一套通用的推理引擎,很难为每一块芯片、每一个模型都调到最好。

海外也已经出现了类似的探索:一家由前英伟达杰出工程师创办的、名为INT21的初创公司,正在用成群的智能体直接生成整套推理引擎,从算子一直做到服务层。它瞄准的也是同一个方向,让AI去优化推理。

基于论文成果和在推理侧的思考,今年七月,他们正式开启了创业,要做的正是让AI自己迭代推理引擎。简单来看,就是针对每一个“某个模型、在某块卡上、按某种要求运行”的特定组合,让Agent自己去优化推理引擎,提高硬件利用率和Token生产效率。

作为独立于芯片厂商的第三方公司,芯生代在做的是将模型能力适配到各种硬件上,为客户提供标准化的产品和服务,能以用户需求为输入,输出一个能自我进化的推理引擎。

“这就像《流浪地球》里的550W(也就是MOSS),电脑自己更新自己的部件,自己写自己的操作系统。”李卓说。

据介绍,芯生代是上海交通大学人工智能学院第一个由学生牵头的创业团队。CEO李卓是上海交通大学人工智能学院的在读硕博生,本科毕业于北京大学计算机系,曾在华为负责过大模型推理仿真系统的搭建;CTO郑雨杰是李卓的课题组同学,同为上海交通大学人工智能学院的在读硕博生。

加入到团队当中的,还有他们的两位导师,上海交通大学人工智能学院长聘教轨副教授、博士生导师温颖,以及上海交通大学人工智能学院助理研究员温睦宁。

上个月,智谱创始人唐杰在X发布了一篇长文,官宣智谱RSI的首个工程化结果:由GLM-5.3驱动的Infra Agent在10万+张国产AI加速卡集群上,参与搭建并持续优化了GLM-5.3-Flash的生产级推理系统。不到两周,其端到端吞吐提升到基线约3倍。

这给了李卓和郑雨杰很大的信心,他们和智谱这项工作所聚焦的都是AI自我驱动基础设施的开发与进化。

常见的推理引擎大多以英伟达作为最初的设计场景,各家国产卡的算子库、图编译器、推理框架又都不一样,换个平台就要重学一遍,靠人工去维护,难度大、成本高。因此,用AI改进推理引擎的做法在英伟达卡和国产卡上又有不同,后者的主要矛盾是让不同模型能在不同芯片上跑通跑好。

推理软件的效率,最终会体现在成本上。芯生代想做的,就是用定制的推理管线把芯片的能力充分发挥出来,降低每个Token的生产成本。“通用与性能一般难以兼顾。”在芯生代看来,同一个模型换一块芯片,同一块芯片换一个模型,甚至同一对模型和芯片在不同的场景,最优的推理管线都不一样,定制本身就是性能的来源。

具体来看,他们要做的事可以这样简单概括:给定一个模型、一块芯片和对应的运行场景,由Agent为这个具体组合生成一条专用的推理管线,并在真实硬件上验证它既算得对、又跑得更快。

难点又回到了开头那个问题:在这些平台上,Agent几乎没有可学的东西。

既然公开的语料不够,那就让Agent自己攒经验,他们的做法是,用记忆配合强化学习补充上缺失的语料。EvoKernel论文最初基于强化学习的价值迭代思想驱动记忆的进化解决了国产硬件的算子问题,在此之上,还可以用同一方式来优化整条推理管线:先在真实硬件上探索,再把验证过的结果记下来,下一次基于探索的结果得到更好的优化。

记忆之外,这个闭环还要能自己转起来。因此,他们引入了AI for AI的范式,让推理引擎实现自我迭代。李卓认为,推理引擎正是反馈信号最诚实的场景,“它可以用客观的指标来评定”——优化前后的性能提升速度往往肉眼可见,可以用Token/秒作为衡量标准。正因为好坏可以由机器判定,Agent才能自己提出改法、自己跑、自己判断要不要留下。在这一套闭环下,人类专家除了需要提前把环境配置好,几乎不需要再给优化建议。

再往后是广度。芯生代手握多个平台的国产卡,不同组合上的经验和记忆可以相互复用,适配过的组合越多,新组合的成本就越低。

过去Infra层面存在两条路线之争:为软件设计硬件,以及为硬件设计软件。前者是英伟达式的赢家通吃,后者是国产芯片厂商试图走通的路线。这两条路线的胜负还没有分晓,而让Agent用AI for AI的方式自我迭代软件,正是第二条路线最有可能弯道超车的变量。

文章来自于微信公众号 “智能涌现”,作者 “智能涌现”

Related topics

After reading

Join the AINRK community

Read how to join the community and connect with people working in AI.

Community information (opens in a new tab)