Search

Results for “蒸馏”

Total 86 articles

月之暗面三位联创深夜回应一切!3小时答全球网友23问,杨植麟剧透Kimi K3提升巨大

月之暗面三位联创深夜回应一切!3小时答全球网友23问,杨植麟剧透Kimi K3提升巨大 (opens in a new tab)

今天凌晨,月之暗面核心团队在社交媒体平台Reddit上举行了一场有问必答(AMA)活动。三位联合创始人杨植麟(CEO)、周昕宇(算法团队负责人)和吴育昕与全球网友从0点聊到3点,把许多关键问题都给聊透了,比如Kimi K2.5是否蒸馏自Claude、Kimi K3将带来的提升与改变,以及如何在快速迭代与长期基础研究之间取得平衡。

AI news
0
解锁任意步数文生图,港大&Adobe全新Self-E框架学会自我评估

解锁任意步数文生图,港大&Adobe全新Self-E框架学会自我评估 (opens in a new tab)

香港大学(The University of Hong Kong)与 Adobe Research 联合发布 Self-E(Self-Evaluating Model):一种无需预训练教师蒸馏、从零开始训练的任意步数文生图框架。其目标非常直接:让同一个模型在极少步数也能生成语义清晰、结构稳定的图像,同时在 50 步等常规设置下保持顶级质量,并且随着步数增加呈现单调提升。

AI guides
0
谢赛宁REPA得到大幅改进,只需不到4行代码

谢赛宁REPA得到大幅改进,只需不到4行代码 (opens in a new tab)

邹忌曾经有一个问题:吾与徐公孰美? 而对于 REPA,也有一个类似的问题:全局信息与空间结构,哪个对表征对齐更重要? 表征对齐(REPA)可通过将强大的预训练视觉编码器的表征蒸馏为中间扩散特征,来指导生成式训练。该方法于去年十月份问世,一直以来都备受关注,已成为加速扩散 Transformer(Diffusion Transformers)训练的一项有力技术。参阅报道《扩散模型训练方法一直错了!谢赛宁:Representation matters》。 但是,其还有一个很基本的问题悬而未决:对生成而言,目标表征的哪个方面更重要?是其「全局」语义信息(例如,以 ImageNet-1K 准确率衡量)

AI guides
0