AI news

中国大模型讨论纪要:蒸馏成本、算力与应用需求

By Startup Research0 viewsSource: Startup Research
中国大模型讨论纪要:蒸馏成本、算力与应用需求

文章整理一场10月初的讨论,记录参会者对蒸馏难度、模型竞争、AI制药和云渠道分成的不同判断。文中金额、算力和领先时间多为讨论中的估计,部分数据未经验证。

The full text has not been translated yet. The Chinese original is shown below.

我们在10月初举办的中国LLM讨论。希望对大家理解竞争态势和调研方向有帮助。本文不作为投资建议,投资有风险。如果希望交流或对之后讨论感兴趣,欢迎加我微信hardybeee

1.反蒸馏与国产模型追赶

  • 蒸馏难度明显变高,短期蒸馏成本上升5-10倍,多则20倍
  • 替代方案效果都不如直接蒸馏:把一个问题拆成10个分别喂前沿模型再拼起来;拿摘要用其他模型做反向rationalization;合成数据、数据生态采购
  • 曾有人认为可以通过第三方CSP(如Amazon)拿访问权限,但近期Amazon也出现较大封号潮
  • coding / agent benchmark已刷到90%+,再卷意义不大;明年下一个市场大概率是AI for Science或机器人,数据壁垒更高。AI for Science真正做药的模型完全封闭(Claude内独立模型层),只有药企合作能用,「连用都用不到,怎么蒸」;机器人基线数据更提取不出来
  • 反蒸馏的影响是多方面的:
  • 措施:OpenAI / Anthropic直接拒答或降级,订阅和非定向API都有大量反蒸馏措施,完整推理只有深度合作企业的API能拿到
  • 算力(认为是最大问题):海外模型普遍5-10T,学生太小听不懂老师,700B蒸3-5T效果很差,最后回到预训练问题。训3-5T模型至少需要几万张B卡
  • 方向:coding有代码可验证、agent有trajectory,好蒸;但前沿进步方向转向空间理解、computer use、视频生成,很难反向拿到完整数据
  • 结论:无论算力、数据还是训练方向,国产模型追赶越来越难,有买方认为没有长期价值

2.RSI与中美差距

  • 算力差距在拉大:国内厂商等效B卡一万到几万张,海外明年单个AI lab训练算力或达4-6GW
  • 反蒸馏后中美差距预期从3-4个月拉长到约12个月;若海外明年实现RSI,可能进一步拉到18-24个月,认为极有可能
  • 研究员瓶颈:训练从10B逐步scale到5-10T,数据配比、算力分配、开几条线都是「炼丹」,50个研究员只能开50条线;RSI后线数由算力决定
  • 数据瓶颈:公开数据约35-50T token,未定义数据需Mercor这类公司帮助跨过阈值,之后可靠模型自己合成扩量,最终也收敛到算力
  • 国内3T左右模型算力够用,下一代10T左右影响较大。B300国内价格近期反而上涨(Rubin ramp后理论上应走平或下行)
  • 蒸馏成本:有数据称国内厂商蒸馏年开销数亿美金(未验证),成本上升5-10倍即十几亿到几十亿美金,对比前三家(DeepSeek、Kimi、智谱)总融资约100-150亿美金,影响不小。Chat补充:有厂商一天蒸馏约30万美金token,年化约1亿美金

  • RSI关键是verification:硅谷都在讨论如何在模型 / agent无法自我验证的领域拿到outcome feedback。coding里主攻build system和CI/CD的feedback loop速度
  • 空间方向:从DCC软件(CAD、雕刻软件)到仿真、具身大脑,再到真实世界simulation;老游戏里完整的物理碰撞系统可提供空间理解数据,看哪家frontier lab先拿到
  • 当前RL是挖fifty-fifty成功率的任务,再往前一步可能不是RL,核心是模型生成的东西能否突破人类verify的极限且仍能被verify。marketing同理:素材好看不等于线上performance好,需要真实outcome数据

3.国模格局与竞争要素

  • DeepSeek专注少数方向、走华为卡路线,有差异化但摸索时间更长,不确定性大
  • 美国CSP有利润、举债能力和金融深度;若中国举国支持一家主权AI,DeepSeek凭A股融资和国家层面支持容忍度更高,其他独立公司更危险
  • 华为:内部能用黑卡就用黑卡,自研卡对外卖;代工找「手套」或走三星仍有路子,但比以前更难

4.国模格局与竞争要素

  • Frontier labs开始做cheap intelligence:上半年Anthropic基本没推Sonnet / Haiku,近期很积极;Sam年初起一直在强调。闭源做高价值、开源做低价值的两层结构被打破
  • 开源三个value proposition:便宜、可微调、隐私 / 自部署。闭源先攻「便宜」,部分低价值workflow预算会流向闭源
  • 闭源降价空间大:每代GPU(软件+硬件)token output约为上一代3-4倍,大幅降价不影响利润
  • 国产增长逻辑被打破:上半年逻辑是参数量提升 + 提价(GLM-5.2约$4 / 百万token vs 海外对标约$20);现在闭源价格下探(有提到GPT-6约$10),国产效果不占优、提不了价,下一代大参数模型成本却只会上升;国产效率优化接近瓶颈,海外才刚开始
  • 价格预期从「向上收敛」调整为「向中间收敛」
  • 剩余空间:合规严格的国内客户、本地部署 / 微调。但海外开源(Reflection AI等)和微软MAI也在起来,「直接打在国产模型的命门上」
  • 国内付费依赖重度用户(a16z报告:前1%用户付费大于后50%),重度用户可直接付费Claude / Codex,存在value leakage
  • 可微调短期不会被快速攻破:post-train市场未收敛(Fireworks偏服务 vs Thinking Machines偏产品化,但这部分市场规模还是有的),闭源投入相对小,OpenAI的RFT没推起来。下一个冲击看闭源何时推出产品化调参产品或大规模投FDE
  • 闭源降价意图有分歧:对Anthropic成立(frontier对ARR拉动减弱,需开新场景),对OpenAI不成立(frontier对ARR拉动仍大)
  • 用户反馈:之前在火山引擎用国产flash模型,后来算下来Codex更划算、跨agent更方便,取消国产订阅统一用Codex(买账号池叠Plus额度)。Codex / Claude价格已能下探到flash层级

5. 下一个大场景:AIDD与其他

  • 28年需求总量看不清是当前估值overhang,能否支撑约2T capex
  • AIDD是当前主要押注:药企研发费用约中几千亿美金,20-30%投入AI就是千亿美金场景。concern在节奏:药物周期长,能否忍受两年无新管线进展仍每年2-3倍投入。金融、客服、法律更多是context和数据问题,非模型step function能解决,需慢慢释放
  • 医药同行对AIDD很悲观:研发遵循反摩尔定律,靶点有限,IRR一路走低;即使AIDD成立,改变的是靶点发现速率,瓶颈转到实验、入组、实验猴等物理环节,价值更可能在药明等CXO / CDMO。进一步拆解:
  • 大药企capex很大部分是收购管线,波动大,市场高估真实capacity
  • LLM替代科学家(查文献、提猜想、调工具、设计分子)本质是coding;真正有价值的是AI制药模型(结构、结合预测),但几千张卡就够,壁垒在数据
  • 药企私有失败数据不会给Anthropic,Anthropic长期大概率自建实验室甚至收购药企,但算力消耗不大,撑不起28年capex
  • AI制药不遵循第一性原理,只是猜得更多,实验费用大增而产出不保证;小分子公开数据多做得好,有价值的新靶点反而没数据
  • 不看好金斯瑞、Twist等蛋白合成(无壁垒,会被自建实验室替代);看好动物实验和临床:海外受动保限制、无法内化,需求回流中国,AI加速后明年初就要上猴子,认为买实验猴、药明康德最正确

6. 中国模型公司与CSP分成

  • 智谱、Kimi已上架Bedrock,take rate约10-15%
  • 收入upside不大:Bedrock约90%调用量来自前沿模型,剩余5-10%由多家开源分,Amazon还有自研Nova。利润:乐观算到27年十几亿量级,而智谱上半年研发投入就有20多亿人民币,算力投入增长可能远高于分成增量,拖累盈利周期

文章来自于微信公众号 “Startup Research”,作者 “Startup Research”

Related topics

After reading

Join the AINRK community

Read how to join the community and connect with people working in AI.

Community information (opens in a new tab)