AI news

人脑细胞做成芯片打Doom!20万活体神经元自己探路杀敌,学习效率碾压深度强化学习

By 量子位0 viewsSource: 量子位
人脑细胞做成芯片打Doom!20万活体神经元自己探路杀敌,学习效率碾压深度强化学习

20万人类脑细胞组成“脑PU”,学会了玩经典游戏《毁灭战士》。这些活体神经元通过强化学习学会了找到敌人、开枪射击、转身移动,甚至弹药管理。

The full text has not been translated yet. The Chinese original is shown below.

20万人类脑细胞组成“脑PU”,学会了玩经典游戏《毁灭战士》。

文章配图

这些活体神经元通过强化学习学会了找到敌人、开枪射击、转身移动,甚至弹药管理。

文章配图

正是同一项技术,5年前让培养皿里的脑细胞学会了打乒乓球游戏Pong。

文章配图

Pong的逻辑很简单,球往上,球拍就往上,是直接的输入输出关系。

Doom完全不同。它是3D的,有敌人,需要探索环境,而且很有难度。

文章配图

当年让神经元学会玩乒乓球,Cortical Labs团队花了18个月。

这一次是独立开发者Sean Cole,通过Cortical Labs开放的云平台API,用不到一周时间就完成了Doom的适配,代码已开源。

文章配图

虽然它还离打到电竞水平很远,Cortical Labs负责人承认现在演示水平还很初级。

现在这些细胞玩起来就像一个从没见过电脑的新手。但公平地说,它们也确实没见过。

但它真正的意义在于,这是一种能够以非常特殊的方式处理信息的材料,而这种方式在硅芯片上无法复制。

文章配图

学习效率超越三大强化学习算法

为了实现脑芯片玩游戏,关键在于如何把数字游戏世界翻译成神经元能理解的语言:电信号。

游戏画面被转换成电刺激模式,当怪物出现在屏幕左侧,芯片上神经培养区的左侧电极就会被激活。

神经元对刺激产生反应,研究人员监测这些反应的“尖峰信号”,再将其解读为游戏指令。特定的放电模式让游戏角色开枪,另一种模式让角色向右移动,以此类推。

文章配图

Cortical Labs这次不只端出演示视频,背后还有一系列学术研究。

其中一项研究解释了如何通过DishBrain系统,将体外培养的神经网络与高密度多电极阵列结合,在简化版Pong环境中对活体神经元与三大主流深度强化学习算法DQN、A2C和PPO进行了正面对比。

文章配图

他们记录了HD-MEA上1024个通道的神经尖峰活动,涵盖285次游戏会话和147次静息会话,采样频率为20kHz。通过t-SNE和Isomap两种降维算法,团队将高维的神经活动嵌入低维空间进行分析。

实验设计的核心约束是“样本效率”。

每次生物培养物的游戏录制时长为20分钟,在此期间平均完成约69到70局对打。为了实现匹配比较,三种深度强化学习算法也被限制在相同的70局训练量内,每种算法用150个不同的随机种子分别训练,相当于150个独立的神经网络,对应150份不同的生物培养物。

研究使用了两种来源的皮层细胞:

人类诱导多能干细胞(hiPSC)分化的人类皮层细胞(HCC)和小鼠胚胎提取的小鼠皮层细胞(MCC),约100万个细胞被铺设在HD-MEA芯片上。

为了考虑输入信息密度对结果的影响,研究者为强化学习算法设计了三种不同的输入方式:40×40像素的灰度图像输入、包含球拍和球坐标的四维向量输入、以及尽可能模拟DishBrain信息结构的球位置输入。

文章配图

结果非常明确:

在所有三种输入设计下,生物培养物在平均每局击球次数、发球直接失误率(aces)和长回合比例三项核心指标上全面超越所有强化学习算法。

更关键的是学习动态的差异:

将每次20分钟的实验分为前5分钟和后15分钟进行对比,只有HCC和MCC组在平均回合长度上呈现出统计学显著的提升,而DQN、A2C和PPO在任何输入设计下都没有出现显著的组内改善。

HCC组在相对改善幅度上显著优于所有强化学习方法,MCC组也在多项对比中超越了PPO和DQN。

生物培养物接收的输入信息极其稀疏,仅8个刺激电极点,以4到40Hz的频率进行速率编码,而图像输入设计中强化学习算法接收的是40×40共1600个像素。

研究者专门设计了低维度输入的对照组来排除”维度诅咒”的干扰,结果发现即使信息输入更加稀疏,强化学习算法的表现反而更差,而非更好。

当训练集数扩展到数万局时,三种算法最终都能超越生物培养物的水平,这印证了:

在真实时间尺度下,生物系统的样本效率远非当前强化学习算法可比。

文章配图

神经元在游戏中发生了什么?

研究团队对这个问题进行了深入探索。

他们记录了HD-MEA上1024个通道的神经尖峰活动,涵盖285次游戏会话和147次静息会话,采样频率为20kHz。通过t-SNE和Isomap两种降维算法,团队将高维的神经活动嵌入低维空间进行分析。

在游戏状态下,两种降维算法都能清晰地区分这两个阶段的活动模式,呈现出明显的网络动态变化;

而在静息状态下,前后两段的活动模式在低维空间中几乎无法区分。

团队进一步开发了一套方法,从1024个通道中筛选出30个最具代表性的通道来构建功能连接网络。

比较每次录制的前2分钟和最后2分钟,游戏状态下的网络在边数、密度、平均权重和模块化指数等多项指标上都出现了统计学显著的变化,而静息状态下这些指标没有显著差异。

游戏状态下的网络呈现出更多正向增强的功能连接,模块化指数显著下降,这意味着原本彼此独立的神经元社区开始建立更多跨社区的连接,网络正在为完成任务而重新组织自身。

文章配图

研究团队在论文中将这类系统命名为“合成生物智能”(Synthetic Biological Intelligence,SBI),并指出这是首次在SBI与强化学习系统之间进行正式的性能比较。

论文讨论部分提到,与反向传播相比,前向传播学习过程更符合生物学规律。

生物系统可能依赖预测编码、主动推断、Hopfield网络等更高效的前向学习过程。

团队还测试了一种基于主动推断和反事实学习的生物启发算法,确实观察到了比标准强化学习更快的学习速率,但该算法仍然高度依赖超参数选择,且功耗远高于生物系统。

CL1:首台可编程生物计算机

这次演示运行在Cortical Labs去年发布的CL1上,官方称其为”世界首台可部署代码的生物计算机”。这台设备的核心是一块多电极阵列芯片,上面生长着约20万个活体人类神经元。

文章配图

研究团队开发了配套的API接口,允许任何用户通过简单的Python命令与芯片上的活细胞进行交互。

为了验证确实是神经元在学习而非算法在代劳,团队设计了对照实验:当用随机信号或零信号替代真实的神经元放电时,学习效果完全消失。

Kagan表示,团队已经解决了接口问题,实现了与脑细胞的实时交互、训练和行为塑造。

下一步的目标是让神经元不仅能玩Doom,还要玩得出色,然后挑战更复杂的任务,比如控制机械臂。

团队向开发者和研究人员发出邀请:API已开放,云平台已开放,神经元已就绪。

唯一的问题是,你想教它们什么?

参考链接:

[1]https://www.youtube.com/watch?v=yRV8fSw6HaE

[2]https://github.com/SeanCole02/doom-neuron

[3]https://pmc.ncbi.nlm.nih.gov/articles/PMC12320521/

文章来自于微信公众号 "量子位",作者 "量子位"

Related topics

After reading

Join the AINRK community

Read how to join the community and connect with people working in AI.

Community information (opens in a new tab)