Search

Results for “Transformer”

Total 126 articles

终结Transformer统治!清华姚班校友出手,剑指AI「灾难性遗忘」

终结Transformer统治!清华姚班校友出手,剑指AI「灾难性遗忘」 (opens in a new tab)

大模型「灾难性遗忘」问题或将迎来突破。近日,NeurIPS 2025收录了谷歌研究院的一篇论文,其中提出一种全新的「嵌套学习(Nested Learning)」架构。实验中基于该框架的「Hope」模型在语言建模与长上下文记忆任务中超越Transformer模型,这意味着大模型正迈向具备自我改进能力的新阶段。

AI guides
0
ICCV 2025 | FDAM:告别模糊视界,源自电路理论的即插即用方法让视觉Transformer重获高清细节

ICCV 2025 | FDAM:告别模糊视界,源自电路理论的即插即用方法让视觉Transformer重获高清细节 (opens in a new tab)

针对视觉 Transformer(ViT)因其固有 “低通滤波” 特性导致深度网络中细节信息丢失的问题,我们提出了一种即插即用、受电路理论启发的 频率动态注意力调制(FDAM)模块。它通过巧妙地 “反转” 注意力以生成高频补偿,并对特征频谱进行动态缩放,最终在几乎不增加计算成本的情况下,大幅提升了模型在分割、检测等密集预测任务上的性能,并取得了 SOTA 效果。

AI guides
0
谢赛宁昔日实习生创业,接手复活Sora,进军好莱坞

谢赛宁昔日实习生创业,接手复活Sora,进军好莱坞 (opens in a new tab)

Sora,可能要回来了。 The Information报道称,OpenAI正在与一家新公司谈判,商讨让后者深度使用已经停用的Sora。 而参与这场谈判的人中,正有Sora前研究负责人、DiT(Diffusion Transformer)论文第一作者Bill Peebles。 (DiT为Sora背后的核心技术,Bill Peebles在FAIR实习期间与谢赛宁共同完成) 据悉,Bill Peebles此次携新公司,希望从OpenAI获得对Sora更深入的使用权限,从而进一步开发、定制面向电影制作人的软件和服务。 为此,Bill还拉来了两位重量级合作伙伴:一位是梦工厂动画联合创始人、前迪士尼影业

AI news
0