AI guides

北大提出首个可验证的仓库级生成基准RepoZero,评测LLM能否从0生成一个代码仓库

By 北京大学、百度1 viewsSource: 夕小瑶科技说
北大提出首个可验证的仓库级生成基准RepoZero,评测LLM能否从0生成一个代码仓库

投稿来自北京大学与百度联合团队,他们提出了首个面向“从零生成完整代码仓库”的评测基准 RepoZero,通过跨语言复现任务与自验证框架 ACE,推动代码补全更近一步迈向自动化软件工程。

The full text has not been translated yet. The Chinese original is shown below.

投稿来自北京大学与百度联合团队,他们提出了首个面向“从零生成完整代码仓库”的评测基准 RepoZero,通过跨语言复现任务与自验证框架 ACE,推动代码补全更近一步迈向自动化软件工程。

随着大语言模型(LLM)在代码生成领域不断突破,AI 正在从“代码补全工具”逐步迈向真正的“自动化软件工程师”。然而,一个核心问题始终没有被真正解决:

AI 能否像人类开发者一样,从零开始独立构建完整的软件仓库(Repository)?

近日,北京大学与百度联合提出了全新的代码生成基准——RepoZero,首次为“从零生成完整代码仓库”提供了可验证、可扩展、自动化的评测框架,为 AI 软件工程研究打开了新的方向。

主页:

https://repozero.osslab-pku.org/

代码:

https://github.com/JesseZZZZZ/RepoZero

论文:

https://arxiv.org/abs/2605.07122

◈从“写函数”到“造系统”

过去的大多数代码评测任务,例如 HumanEval、SWE-bench 等,主要关注:

  • 单个函数生成
  • Bug 修复
  • 小规模仓库编辑

而真实的软件开发远不止如此。

一个完整的软件仓库往往涉及:

  • 多文件协作
  • 模块依赖
  • API 设计
  • 长程逻辑一致性
  • 自动测试与调试

文章配图

RepoZero 关注的正是这一更具挑战性的目标:

让 AI 在没有现成代码的情况下,仅依据 API 描述,重新实现整个代码仓库。

这意味着,AI 不再只是“补代码”,而是真正参与“软件构建”。

◈RepoZero:首个可验证的仓库级生成基准

RepoZero 的核心创新,在于提出了“仓库复现(Repository Reproduction)”任务。

系统会提供:

  • API 功能说明
  • 少量示例测试
  • 输入输出规范

随后,AI 需要:

  • 从零生成完整项目结构
  • 编写多个模块代码
  • 保持跨文件逻辑一致
  • 最终通过隐藏测试集验证

与传统依赖人工评分或 LLM 打分不同,RepoZero 使用真实执行结果进行严格验证:

只有生成仓库的输出与原始仓库完全一致,才算成功。

这一机制显著提升了评测的客观性与可信度。

文章配图

◈双语言跨域挑战:防止“背答案”

为了避免模型直接记忆 GitHub 代码,RepoZero 引入了极具挑战性的“跨语言生成”机制。

目前包含两个核心任务:

◽Py2JS

将 Python 仓库重新实现为 JavaScript

◽C2Rust

将 C/C++ 仓库重新实现为 Rust

同时,系统严格禁止:

  • 调用原语言运行时
  • 使用桥接工具
  • 引入外部依赖库

这意味着模型必须真正理解算法与系统逻辑,而不是简单“复制粘贴”。

文章配图

◈ACE:让 AI 学会“自己测试自己”

除了基准本身,论文还提出了一套重要框架:Agentic Code-Test Evolution(ACE)

ACE 的核心思想是:

AI 不仅写代码,还要自己生成测试、运行测试、分析错误、并持续修复。

整个流程形成: “代码生成 → 自动测试 → 错误反馈 → 代码修复” 的闭环。

实验表明:

这也意味着:

  • 加入 ACE 后,模型性能显著提升
  • 多轮“代码—测试”迭代可明显提高最终通过率
  • 自验证能力正在成为未来 AI 编程 Agent 的关键能力

这也意味着:未来真正强大的 AI 程序员,不只是“会写代码”,而是“会调试、会验证、会自我修正”。

◈当前最强模型,依然远未达到人类水平

文章配图

RepoZero 的实验结果也揭示了一个重要现实:

即便是当前最先进的大模型与 Agent 框架,在完整仓库生成任务上的成功率仍然有限。

在最困难任务中:

  • 很多模型通过率仅为 20%~40%
  • 即使顶级模型 Claude-4.6-Sonnet,也远未达到可靠软件工程水平

主要失败原因包括:

  • 长上下文遗忘
  • 模块协作错误
  • 输出不一致
  • 测试覆盖不足

文章配图

这表明:“真正的软件工程智能”仍然是 AI 领域尚未攻克的重要难题。

◈推动下一代 AI 软件工程研究

RepoZero 的意义不仅在于一个新 benchmark,更在于它重新定义了:“AI 软件工程能力”该如何评估。

它同时具备:

  • 自动化
  • 可扩展
  • 可复现
  • 可严格验证
  • 抗数据泄漏

等关键特性。

论文作者认为,未来 AI 编程研究的重要方向包括:

  • 仓库级长程推理
  • 自动测试生成
  • 自验证能力
  • 多文件协同生成
  • 软件架构一致性

RepoZero 为这些研究提供了统一而可靠的实验平台。

◈结语

从代码补全,到自动修 Bug,再到从零构建完整软件仓库,AI 正在快速逼近真正的软件工程能力。

而 RepoZero 的提出,意味着:

AI Coding 正正式进入“Repository-Level Generation”时代。

未来,能够“自主开发完整软件系统”的 AI Agent,也许将不再只是科幻设想。

文章来自于"夕小瑶科技说",作者 "北京大学、百度"。

Related topics

After reading

Join the AINRK community

Read how to join the community and connect with people working in AI.

Community information (opens in a new tab)