
Agent科研「Taste」距离顶会作者有多远?斯坦福提出ScholarCatalyst,直指自主科研短板(在新窗口打开)
ScholarCatalyst 汇集184位作者对207项研究的灵感标注,评测系统能否找回真正有启发的论文。主实验最佳检索器的前20篇召回率约48%,多轮 Agent 搜索未超过它;候选覆盖和排序是重要瓶颈,这一指标也不能等同整体科研能力。
共 1 篇

ScholarCatalyst 汇集184位作者对207项研究的灵感标注,评测系统能否找回真正有启发的论文。主实验最佳检索器的前20篇召回率约48%,多轮 Agent 搜索未超过它;候选覆盖和排序是重要瓶颈,这一指标也不能等同整体科研能力。