AI news

WebArena作者Shuyan Zhou入职Meta亿元俱乐部

By 程浅2 viewsSource: 量子位
WebArena作者Shuyan Zhou入职Meta亿元俱乐部

Meta的亿元俱乐部又添一中国面孔。 最新消息,哈工大校友、WebArena作者Shuyan Zhou,宣布自己于今年年初离开学术界,加入了Meta的“AI梦之队”超级智能实验室。 这次来到Meta,她明确说了最核心的工作:开发AI浏览器。 还透露,这一研究兴趣源于自己申请博士时的初心——她希望有一天能送给妈妈一台可以由对话驱动,能自动购买机票的设备。 Shuyan Zhou是谁? Shuyan Zhou,哈工大CS校友,同时拥有港大CS学士学位。 18年本科毕业后,她进入了卡内基梅隆大学的语言技术研究所,接连攻读硕博,随后2024年博士毕业。 尽管此时距Shuyan Zhou拿到博士学位才两

The full text has not been translated yet. The Chinese original is shown below.

Meta的亿元俱乐部又添一中国面孔。

最新消息,哈工大校友、WebArena作者Shuyan Zhou,宣布自己于今年年初离开学术界,加入了Meta的“AI梦之队”超级智能实验室。

文章配图

这次来到Meta,她明确说了最核心的工作:开发AI浏览器。

还透露,这一研究兴趣源于自己申请博士时的初心——她希望有一天能送给妈妈一台可以由对话驱动,能自动购买机票的设备。

Shuyan Zhou是谁?

Shuyan Zhou,哈工大CS校友,同时拥有港大CS学士学位。

18年本科毕业后,她进入了卡内基梅隆大学的语言技术研究所,接连攻读硕博,随后2024年博士毕业。

文章配图

尽管此时距Shuyan Zhou拿到博士学位才两年,但她谷歌学术的论文引用已高达9569次,h-index 25,可以说是相当突出的青年学者了……

早在2020年,Shuyan Zhou开始读博时,她的研究重心就收敛到了数年后的一个关键问题上:

如何让AI进入真实的数字环境,替用户完成任务?

也就是,用户只需要讲出来想做什么,智能体就可以判断接下来该打开哪个页面、点击哪里,填写哪些信息……以及,如何在出错后重新调整。

这样一种研究动机,可能和她的妈妈有关。

早些年间,她曾送给妈妈一台中文版Alexa(亚马逊的语音助手)。

这台设备可以执行简单命令,比如播放音乐、聊天气,就像小爱同学一样贴心。

但如果要订机票,Alexa就爱莫能助了,妈妈只能给Shuyan Zhou打电话,让她一步一步指导。

从那时起,Shuyan Zhou就在思考:如何能造一台仅靠聊天就自动完成任务的智能设备?帮助妈妈以及像她一样的人更好地生活?

文章配图

如其所说,2020年,她在申博材料里阐述了这一初衷——四年后,她的博论《使用AI智能体解决现实世界任务》给出了阶段性答案。

此研究方向也可以一窥这次的Meta就职,Shuyan Zhou的工作重心所在。

说起来,这也是Shuyan Zhou第二次来Meta了。

2024年,她就加入过Meta的GenAI,当时在Ruslan Salakhutdinov(也是杨植麟在卡内基梅隆的博导)领导的团队工作,研究Llama通用计算机操作智能体。

去年,她离开Meta,到杜克大学任教——直到今年初。

Shuyan Zhou要教会AI上网

与研究方向一脉相承,Shuyan Zhou的代表性产品是WebArena。

WebArena是Shuyan Zhou博士阶段的项目产出,是一个用于构建自主代理的现实网页环境,提供真实交互与任务执行功能。

早WebArena诞生之前,许多浏览器智能体都在简化网页或静态数据集上接受测试——这些环境便于开展实验,但难以反映真实网站中的连续操作、页面变化和用户权限等情况。

这也是WebArena关注的核心问题,即如何在接近真实互联网的环境中,评估AI操作网页和完成任务的能力。

文章配图

为此,项目利用开源软件,重新搭建了电商、论坛、代码协作和内容管理等网站,形成一套可以独立部署和重复使用的交互环境。

Shuyan Zhou和团队还设计了241类任务模板,生成812项测试任务,用于检验AI能否根据自然语言指令,连续完成搜索、点击、输入、页面跳转和内容修改等操作。

顺着这条路走下去,Shuyan Zhou又参与了VisualWebArena。

这个项目延续了WebArena的基本框架,但将评测重点从文字信息扩展到图片、图标和页面布局,加入了910项需要视觉理解的网页任务。

这之后,Shuyan Zhou还与香港大学XLANG团队等机构共同完成了OSWorld的研究,将评测范围从浏览器进一步扩展到整个计算机系统。

OSWorld包含369项计算机操作任务,涉及浏览器、文件系统、办公软件和多个应用之间的协同操作。

文章配图

△OSWorld使用真实计算机环境评测智能体跨应用操作能力

该项目于2024年4月首次公开,随后入选NeurIPS 2024数据集与基准赛道。论文发表时的数据显示,人类在测试任务中的完成率为72.36%,而表现最好的模型只有12.24%。

问题有很多:视觉定位、长程规划、动态环境、错误恢复、安全权限……这些可能都会是Shuyan Zhou之后搞AI浏览器时必须面临的挑战。

小扎重金攒出的AI天团,开始交作业

Shuyan Zhou此次加入的Meta超级智能实验室(Superintelligence Labs),简称MSL,成立于2025年6月。

MSL是Meta重组AI业务的AI整体组织,它将负责下一代基础模型的TBD Lab、负责长期研究的FAIR、负责产品落地的产品与应用研究团队、以及提供算力和工程支持的MSL Infra整合到了一个体系里。

只为了实现“个人超级智能”。

按照小扎的设想,超级智能不能替代人类,而是要真正理解用户需求,通过Meta AI、WhatsApp、Instagram、智能眼镜等现实入口帮用户实现价值。

为此,Meta在去年就发起了一轮受到天价人才招募,向顶级研究人员提供最高四年3亿美元的薪酬方案——“亿元俱乐部”由此得名。

更惹人注意的是,在MSL已公开的管理者和研究人员中,华裔占比接近一半。

比如:

MSL的总负责人Alexandr Wang,华裔创业者,19岁创办Scale AI,后获Meta143亿美元投资。

MSL的首席科学家赵晟佳,本科毕业于清华,曾在OpenAI参与ChatGPT、GPT-4及推理模型的研发。

MSL的首席研究员宋飏,扩散模型的代表性研究者,曾负责OpenAI的战略探索团队,目前与赵晟佳共同参与实验室研究方向的设计。

毕树超,浙江大学数学系,曾担任Google工程负责人,曾在OpenAI负责多模态后训练,目前在MSL研究强化学习、模型后训练和智能体。

Dawn Son,本科就读清华,UC Berkeley教授、AI 安全与计算机安全研究者,在MSL从事AI安全、可信智能体等方向的研究。

……

文章配图

△从左至右:扎克伯格、赵晟佳和Alexandr Wang

可以说,华裔研究者以及中国高校培养的学生,已经进入全球前沿模型、智能体和AI安全研究最核心的岗位。

另一方面,在完成组织调整和人才招募之后,MSL也确实在推出实际成果。

今年4月,Meta发布MSL成立后的首个模型 Muse Spark,一款面向个人智能体场景设计的多模态推理模型。

9月,Meta又推出由Muse Spark驱动的个人智能体Muse。

一时间大热。

用户可以向它交代目标,由它处理邮件、填写表格、购物或制定长期计划,未来将接入AI智能眼镜。

文章配图
△Muse发布视频截图

如此来看,Muse这条路和Shuyan Zhou的研究路线也有直接关联。

那就期待后续Shuyan Zhou的AI浏览器真的能从论文里走出来,造福大家吧……

文章来自于"量子位",作者 "程浅"。

Related topics

After reading

Join the AINRK community

Read how to join the community and connect with people working in AI.

Community information (opens in a new tab)