
JANUS探索先微调后矫正:用雅可比投影缓解灾难性遗忘(在新窗口打开)
清华与滴滴自动驾驶团队提出JANUS,在微调后通过雅可比零空间投影及多步自适应矫正缓解旧任务性能损失。受测7B/8B模型的保持指标改善,相关充要条件限于局部一阶损失变化。
共 2 篇

清华与滴滴自动驾驶团队提出JANUS,在微调后通过雅可比零空间投影及多步自适应矫正缓解旧任务性能损失。受测7B/8B模型的保持指标改善,相关充要条件限于局部一阶损失变化。

近一年以来,统一理解与生成模型发展十分迅速,该任务的主要挑战在于视觉理解和生成任务本身在网络层间会产生冲突。早期的完全统一模型(如 Emu3)与单任务的方法差距巨大,Janus-Pro、BAGEL 通过一步一步解耦模型架构,极大地减小了与单任务模型的性能差距,后续方法甚至通过直接拼接现有理解和生成模型以达到极致的性能。