AI guides

AI自己写代码做科研还跑赢了前沿算法?清华团队开源Alchemy框架

By 李佳助理教授课题组1 viewsSource: 机器之心
AI自己写代码做科研还跑赢了前沿算法?清华团队开源Alchemy框架

AI 驱动的自动化科研正从概念走向真实系统。近期受到广泛关注的 FARS,以及 Karpathy 开源的 autoresearch,都在不同程度上展示了 AI Scientist 自动进行 AI 领域研究的可行性。

The full text has not been translated yet. The Chinese original is shown below.

AI 驱动的自动化科研正从概念走向真实系统。近期受到广泛关注的 FARS,以及 Karpathy 开源的 autoresearch,都在不同程度上展示了 AI Scientist 自动进行 AI 领域研究的可行性。

但真正限制自动化 AI 科研规模扩展的,不仅仅是「能否提出一个新想法」,同时「能否把这个想法稳定、高效、持续地跑起来」也同样重要。在现有系统中,科学发现过程与工程实现仍然高度耦合:AI Scientist 在进行算法创新之外,还不得不处理数据预处理、训练流程、资源调度、并发执行、评测协议等大量工程细节。结果是,宝贵的上下文窗口、推理预算与硬件资源,被浪费在非科研核心环节上,从而抑制了自动化科研真正应有的规模与效率。

在这一背景下,清华大学人工智能学院团队提出了Alchemy——一个面向自动化 AI 科研的标准化研究环境。它像一座为 AI Scientist 预先搭建好的「炼丹炉」,将复杂异构的 AI 工程统一接口,使 AI Scientist 可以从工程负担中抽身,专注于算法创新本身。

  • 代码开源:https://github.com/TsinghuaISE/Alchemy

文章配图

研究背景与问题

随着大语言模型在代码生成、实验组织与科研文献理解等方面持续进步,LLM 驱动的自动化科研正在快速从概念验证走向真实系统。尤其在 AI for AI 方向,AI-Researcher、FARS、autoresearch 等一系列工作已经表明:AI Scientist 不仅能够生成算法原型,还能够结合实验反馈进行初步的迭代优化。

然而,前沿 AI 研究作为一项长周期、高度依赖资源的复杂科学活动,不仅依赖算法创新,还依赖数据处理、训练流程、评测协议、资源调度、并发执行等工程环节,同样决定了科研探索能否真正推进。这也带来了当前自动化 AI 科研系统的一个核心矛盾:AI Scientist 已经开始具备「提出方法」的能力,却仍缺乏「高效开展大规模实验」的基础设施支撑。在现有系统中,工程实现与科学发现往往仍然紧密耦合,AI Scientist 不得不在生成算法之外,同时处理大量实验细节。结果是,大量上下文预算、推理能力与计算资源被消耗在非核心科研环节中,限制了自动化科研的规模与效率。

如何释放 AI Scientist 的科研能力?近期爆火的工作(如 autoresearch)尝试优化自动化科研系统的工程组件,但仍存在明显局限:

  • 领域受限:局限于特定领域与单一任务,难以持续集成多领域、跨任务的大规模自动化科研场景。

  • 基础设施薄弱:异构算力调度、高并发控制等关键工程需求被普遍忽略,实验规模的扩展受到严重制约。

针对以上挑战,清华大学人工智能学院团队提出了 Alchemy——一个面向自动化 AI 科研的标准化研究环境。Alchemy 预先搭建好科研实验所需的全部工程基础设施,AI Scientist 只需投入算法实现(一个.py文件)及其超参数(一个.yaml文件),即可驱动完整的科研实验。同时,工程基础设施与任务管线的分层设计,使其天然支持新领域、新任务的持续集成。下面具体介绍 Alchemy 的关键特性。

框架特性

Alchemy 的设计围绕一个核心问题:如何让 AI Scientist 完全摆脱工程负担,专注于算法创新?为此,Alchemy 进行了以下针对性设计:

  • 标准化实验接口:Alchemy 为所有 AI 研究任务提供统一的实验接口,屏蔽不同任务之间的工程差异,和任务内如数据加载、评测、资源调度等工程细节。AI Scientist 只需提交算法实现(一个.py文件)和超参数配置(一个.yaml文件),即可运行完整实验。

  • 可持续扩展的任务体系:框架与任务解耦,新领域或新任务只需新增实验管线即可接入。目前已覆盖推荐系统、时间序列与图学习 3 个领域,16 个任务。

  • 异构算力统一执行:不同用户的算力环境差异巨大,从单机 GPU 到多节点 HPC 集群不等。Alchemy 通过可插拔执行器统一调度方式,使 AI Scientist 无需关心实验具体运行在哪台机器或哪张 GPU 上。

  • 面向大规模实验的并发控制:Alchemy 支持多任务、多算法、多超参数和多数据集的高并发实验,并提供实时进度跟踪与结果可视化。系统还可根据实验反馈自动淘汰表现不佳的算法,将算力集中到更具潜力的探索方向。

开箱即用,自动研究

以多模态推荐任务为例,下面展示 Alchemy 的易用性与自动化科研能力。

用户首先可以在名为domain_knowledge的 Markdown 文档中,为 AI Scientist 提供任务相关的领域知识,提升其科学发现的能力。但是不用担心,即使用户没有手动撰写任何领域知识,Alchemy 依然可以正常运行。在大规模实验推进过程中,AI Scientist 会结合实验反馈,逐步归纳并沉淀出完成该任务所需的关键领域知识。

下面展示的,便是 Alchemy 在连续生成 100 个推荐算法之后自动总结出的领域知识。可以看到,这些总结并非停留在表层描述,而是已经呈现出相当有价值的研究洞察。

文章配图

除了领域知识之外,用户还需要为 Alchemy 提供一个 Seed Baseline,作为 AI Scientist 进行科学假设生成与方法演化的起点。这个 Seed Baseline 可以是人类研究者提出的前沿算法。在本例中,我们选择的是 AAAI 2025 的工作《Mind Individual Information! Principal Graph Learning for Multimedia Recommendation》(PGL)。为了进一步降低使用门槛,Alchemy 已经为现有支持的所有任务预先配置了 Seed Baseline,并且每个任务至少提供 3 个可选 Seed Baseline,方便用户开箱即用。

文章配图

在此基础上,AI Scientist 会围绕当前算法不断开展自动化科研循环:提出科学假设,生成新算法实现,并依据实验反馈持续迭代优化。

如下图所示,AI Scientist 首先提出了这样一个科研假设:在主图传播过程中引入模态感知的边权重重加权机制,使交互图中的消息传播强度能够根据物品间的模态相似性动态调整,从而在协同信号传播过程中显式融入模态语义信息。

随后,AI Scientist 基于这一假设生成了算法实现。起初,这份代码尚不能直接运行:由于对超参数加载的数据格式理解不准确,其生成的.yaml文件出现问题。Alchemy 则会将具体、可执行的报错信息反馈给 AI Scientist,使其进行多轮迭代,修正实现细节。系统最终生成了可正常运行的代码实现。

文章配图

文章配图

接下来,在长达一天的持续实验过程中,Alchemy 中的 AI Scientist 在完全无人类干预的条件下,依托实验反馈不断调整实现、修正设计并优化性能。令人惊喜的是,最终得到的模型成功超越了初始的 Seed Baseline——PGL。

文章配图

文章配图

进一步分析可以发现,这一改进的关键在于:AI Scientist 为 PGL 引入了模态感知的用户—物品边重加权机制。其核心思想是,不改变 PGL 的训练机制,而是在推理时加上一个轻量的 Modality Aware Graph Adaption 机制,让那些与用户历史偏好在模态空间中更一致的边,将被赋予更强的传播权重,从而更充分地放大模态语义信息与 User-Item 协同信息之间的关联作用。

文章配图

文章配图

文章配图

文章来自于“机器之心”,作者 “李佳助理教授课题组”。

Related topics

After reading

Join the AINRK community

Read how to join the community and connect with people working in AI.

Community information (opens in a new tab)