AI reviews

第三方机构实测:Agent 场景下,Kimi K3 反超 GPT-5.6 Sol

By 特工小海 特工小天2 viewsSource: 特工宇宙
第三方机构实测:Agent 场景下,Kimi K3 反超 GPT-5.6 Sol

Kimi K3 发布十天后,AI 原生云服务商 Together AI 公布了一份独立评测报告。

The full text has not been translated yet. The Chinese original is shown below.

文章配图

Kimi K3 发布十天后,AI 原生云服务商 Together AI 公布了一份独立评测报告。

https://www.together.ai/blog/kimi-k3-vs-gpt-5-6-sol-on-deepswe-cost-coding-and-routing

报告的结论出人意料:如果你的 Coding Agent 还在按榜单选模型——Together AI 这份独立评测可能会让你改默认配置。

如果单看「一次就写对代码」,GPT-5.6 Sol 确实领先;但 Together AI 多问了一个问题:如果允许模型多次尝试呢?

答案立刻反转:Kimi K3 在 DeepSWE-pass@2 上以 82.0% 反超 Sol 的 81.0%,到 DeepSWE-pass@4 时差距拉大到 89.4% 对 85.8%。

最终的结论就是:如果比一次定胜负,GPT-5.6 Sol 赢;如果在允许 2-4 次重试的 Agent 架构里,Kimi K3 的天花板更高,并且价格更低。

下面来拆开看这份报告的具体数据。

文章配图

一次调用,GPT-5.6 Sol 哪里强?

在展开对比之前,有必要解释一下为什么 Together AI 选择了 DeepSWE 作为评测基准:

DeepSWE 是今年五月发布的,继 SWE-bench 之后出现的新一代编程评测。近几个月,包括 OpenAI、Anthropic 在内的多家厂商在模型发布时,都优先引用了 DeepSWE 成绩作为编程能力的证明。

文章配图

它和 SWE-bench Pro 的区别在于两点:

第一,提示长度约为 SWE-bench 的一半,但解决方案需要的代码量是后者的 5.5 倍。这意味着模型不能靠读懂长 Prompt 提取线索来取巧,必须真正自己思考和理解问题,并生成大量有效代码。

第二,所有任务和评估指标都是从零开始编写的,模型在预训练阶段不可能见过相同的题目。

这两个特性让 DeepSWE 成为当前最难刷分的编程评测之一。

文章配图

理解了评测方法,再看 Together AI 本次试验的具体方法和数据:实验一共有 904 条执行记录,覆盖 113 个任务,每个任务 4 次独立尝试,两个模型都使用了最大推理强度。

如果只看单轮测试的效果,GPT-5.6 Sol 的整体优势如下:

1. 在单次尝试的场景下,Sol 确实更强。pass@1 达到 72.7%,领先 Kimi K3 约 4 个百分点。72.7% 的 pass@1 意味着它在接近四分之三的任务上,第一次就能给出正确答案。

文章配图

2. 稳定性上 Sol 的优势更明显。在 4 次尝试中全部成功的任务数,Sol 有 61 个,Kimi K3 只有 45 个。换句话说,Sol 在更多任务上能稳定复现成功:它的可靠性评分达到 84.5%,Kimi K3 为 76.6%。

3. Sol 在速度方面的领先也很明显。Sol 的中位执行时间是 17 分钟,Kimi K3 需要 66 分钟(基于 7 月 25 日 Moonshot 的 Kimi K3 API 数据)。

4. Sol 的整体 Token 消耗更少。Sol 完成任务所需的步骤数大约少了 40%,因此同一个任务,消耗更少。

如果你的场景是一次定胜负、对延迟敏感、预算充足的用户,Sol 是更稳妥的选择。

为什么 K3 适合 Agent 场景

但现实中的编程 Agent 很少是「一次定胜负」的。

pass@1 衡量的是一次命中率,pass@k 衡量的是 k 次尝试内至少成功一次的概率。对带有重试机制的 Agent 来说,pass@k 更接近真实表现:

实际的 Coding Agent 本来就会重试多次,pass@k 更高意味着实际成功率更高。

Kimi K3 在 pass@2 上就已经反超,82.0% 对 81.0%。到 pass@4 时差距拉大到 89.4% 对 85.8%。

文章配图

与此同时,Kimi K3 每次部署成本为 4.65 美元,Sol 为 8.37 美元。换算下来,每花 100 美元,Kimi K3 能解决 14.7 个任务,Sol 只能解决 5.3 个。每美元解题效率, K3 领先 Sol 约 2.8 倍。

文章配图

报告中对失败模式的分析,解释了这种差异的来源:

1. Kimi K3 有 65% 的失败案例属于差一点就成功的类型。

即超过 80% 的测试用例都通过了,只卡在小细节上。这类错误在重试时更容易被修正,因为模型已经掌握了问题的主体逻辑。

2. Sol 的失败模式则不同,它是真不会。

它在 20% 的失败案例中会破坏代码库原有的测试,这个比例在 GPT 系列模型中比较一致。更关键的是,Sol 一旦第一次失败,后续重试的改善幅度有限。

在多轮对话中,即使提供了报错信息,Sol 也倾向于在同一个方向上反复修补,缺乏跳出当前思路的能力。报告将此归因为采样多样性不足。

最优解:Kimi K3 优先,Sol 兜底

Together AI 在报告中,提出了一个可直接落地的工程建议:

如果任务只能调用一次,使用 Sol 更可靠。如果允许重试,又有测试套件把关,使用 Kimi K3 具有极高的覆盖率和成本优势。

因此对多数 coding agent 团队而言,目前更合理的答案是:让 Kimi 先处理大部分任务,再让 Sol 接手那些没有通过验证的部分。

具体来说,研究团队发现两个模型的成功/失败分布相关性只有 0.46:这意味着它们不是「谁强谁弱」的关系,而是互补关系,它们擅长和不擅长的题目有明显区别。

基于这个发现,Together AI 提出了一种级联路由策略:先运行 Kimi K3,如果测试套件拒绝了结果,再升级到 Sol。这个策略的准确率达到约 85.6%,覆盖 113 个任务中的 108 个。

文章配图

85.6% 不仅高于任何单一模型的 pass@1,还超过了“完美路由器”的理论上限 83.4%。

所谓完美路由器,是指假设你能提前 100% 准确地判断每道题该交给哪个模型,但每题只调用一次。级联策略之所以能突破这个上限,是因为它给困难任务提供了两次独立尝试的机会。

从成本角度看,这个策略也合理:

Kimi K3 能在第一轮清掉大约 70% 的任务队列,只有剩下的难题才需要调用更贵的 Sol。每个任务的平均成本约为 7.30 美元,低于直接全部使用 Sol 的 8.37 美元,但准确率高出近 13 个百分点。

当然,这个策略有一个前提条件:你需要有验证器,也就是测试套件,来判断第一轮的结果是否正确。没有验证器的情况下,现实中的路由器准确率会落在 70 多分的区间。

在具体的任务分配上,Together AI 也给出了参考:

1. 序列化处理(92 对 79)、并发处理(72 对 55)和程序分析(64 对 56)更适合交给 Sol。

2. 操作工具相关任务(79 对 73)和运行时相关任务(77 对 75)则更适合选择 Kimi K3。

3. 合规性方面两者基本打平,61 对 59。

文章配图

国产模型的七月:从追赶者到搅局者

以上是纯技术层面的对比。但这份报告发布的时间点,恰好撞上了中国 AI 行业的一个敏感节点。

7 月,海外模型的合规风险集中爆发:

Anthropic 不仅试图垄断旗下 Fable5 模型,还指控阿里巴巴蒸馏 Claude,随后 Anthropic 被曝出在 Claude Code 中对中国用户做了隐式标记,紧接着工信部迅速发布 Claude Code 安全风险提示,阿里全面禁用 Claude 全系产品。

依赖海外闭源 API 的技术路线,合规风险骤然上升。

但国产模型的回应速度超出预期:在技术封锁和信任危机并行的 72 小时内,Kimi K3、Qwen3.8-Max 相继发布,国产开源模型首次在多项评测中进入全球前三。

从 Together AI 这份报告看,至少在编程 Agent 场景下,Kimi K3 已经是全球最优选项之一,而不只是海外模型的平替。这也意味着,国产模型不再是「追赶」,而是第一次真正意义上达到了全球第一梯队水平。

于是紧接着,国产模型带来的能力和价格压力,迅速传导到了大洋彼岸:

7 月最后一天,OpenAI 对上线仅三周的 GPT-5.6 Luna 实施了 80% 的降价——这是 OpenAI 历史上最大幅度的单次价格调整。

同一天,DeepSeek-V4-flash 正式版发布,以最高性价比的表现再次惊艳全球。与此同时,Gemini 3.5 Pro 在 Arena 平台上线不到 30 分钟后撤回。

文章配图

与此同时,海内外模型厂商竞争的焦点正在转移:

当模型被嵌入 Agent 工作流后,单次推理成本不再是唯一指标,多轮调用的总成本和成功率才是关键。这恰好是国产模型目前的优势区间。

更重要的是,这只是开始。

8 月,智谱据传即将释放 GLM 最新模型(网传名为 GLM-5.5),对标 Fable5。创始人唐杰用「史诗级 plus」来描述这次升级。同时,智谱整体开放了限购并调高了 GLM 的套餐额度,似乎在为新模型上线做准备,也体现出对这次发布的自信。

此外,DeepSeek-V4-Pro 正式版预计 8 月初跟进。预计 9 月,MiniMax 的 3 万亿级别参数 M3 Pro 也将发布。

文章配图

如果这些模型的编程能力也达到类似水平,Together AI 报告中提出的级联路由策略将有更多组合可能。

当 Anthropic 和 OpenAI 还在争论谁是世界第一模型的时候,中国已经在量产第一梯队了。

恭喜 Kimi 3 的优秀表现,以及期待本月即将发布的 GLM 新模型能否再度引爆全球。

‼️ 欢迎来 TokenDance 上调用各种国产模型,不定期有许多折扣~

官网:https://tokendance.space/models

文章来自于"特工宇宙",作者 "特工小海 特工小天"。

Related topics

After reading

Join the AINRK community

Read how to join the community and connect with people working in AI.

Community information (opens in a new tab)