Search

Results for “REPA”

Total 6 articles

谢赛宁REPA得到大幅改进,只需不到4行代码

谢赛宁REPA得到大幅改进,只需不到4行代码 (opens in a new tab)

邹忌曾经有一个问题:吾与徐公孰美? 而对于 REPA,也有一个类似的问题:全局信息与空间结构,哪个对表征对齐更重要? 表征对齐(REPA)可通过将强大的预训练视觉编码器的表征蒸馏为中间扩散特征,来指导生成式训练。该方法于去年十月份问世,一直以来都备受关注,已成为加速扩散 Transformer(Diffusion Transformers)训练的一项有力技术。参阅报道《扩散模型训练方法一直错了!谢赛宁:Representation matters》。 但是,其还有一个很基本的问题悬而未决:对生成而言,目标表征的哪个方面更重要?是其「全局」语义信息(例如,以 ImageNet-1K 准确率衡量)

AI guides
0
推特吵架吵出篇论文!谢赛宁团队新作iREPA只要3行代码

推特吵架吵出篇论文!谢赛宁团队新作iREPA只要3行代码 (opens in a new tab)

要说真学术,还得看推特。 刚刚,谢赛宁自曝团队新作iREPA其实来自4个多月前的,一次与网友的辩论。 这场短暂的线上辩论虽然以谢赛宁被网友说服告终,但在3个多月后,居然有了意料之外的后续—— 多个团队合作,沿着这一思路写出了一篇完整的论文,而且核心框架仅需3行代码。 致谢部分还感谢了当时参与讨论的网友。 一篇推特引发的学术论文 事情是这样的。 一位网友在8月份表示: 别再痴迷于ImageNet-1K的分类分数了!自监督学习(SSL)模型应该专门为稠密任务(如REPA、VLM等)进行训练,因为这些任务真正依赖的是patch tokens中的空间和局部信息,而不是[CLS]token所代表的全局分

AI guides
0
389万寻找翁荔继任者!OpenAI紧急开招安全防范负责人

389万寻找翁荔继任者!OpenAI紧急开招安全防范负责人 (opens in a new tab)

百万年薪急招一名高管! 在一连接到多起安全指控后,OpenAI终于坐不住了。 于是在最近,这家公司豪掷55.5万美元(约合人民币389万元)+股权,原地开招一名安全防范负责人(Head of Preparedness)—— 其核心职责是,制定并执行OpenAI的安全防范框架。 而且CEO奥特曼还特意强调: 这将是一份压力很大的工作,你几乎会立即面临严峻的挑战。 以上种种不难看出,OpenAI在安全方面确实态势严峻。 而且有一说一,OpenAI的安全团队似乎一直命途多舛,印象中光是负责人就换了一茬又一茬—— Ilya领导的超级对齐团队一度解散、北大校友翁荔也曾短暂担任过Preparedness团

AI news
0
OpenAI解散「灾难风险应急」团队!GPU大神Scott Gray也跑路了

OpenAI解散「灾难风险应急」团队!GPU大神Scott Gray也跑路了 (opens in a new tab)

OpenAI……又解散了一个安全团队。 该团队名为“Preparedness”,意为“应急准备”,专门负责评估自家AI是否会带来灾难级的社会风险。 官方对此称,安全工作已经融入了开发流程,不需要单独设一个团队了。 此前,OpenAI在两年间主要组建过4支安全力量,分别是: Safety团队,关注当前产品的安全问题,负责人离职后被合并进研究部门; Superalignment团队,关注远期超级智能对齐问题,已于2024年5月解散,其负责人离职后公开称“安全已给产品让路”,而后Mission Alignment团队作为其继任团队被组建,存续仅16个月。 AGI Readiness团队,2024年1

AI news
0