把RoPE扔掉,AI更能看懂长上下文!Transformer作者团队开源大模型预训练新方法 (opens in a new tab)针对大模型长文本处理难题,Transformer架构的核心作者之一Llion Jones领导的研究团队开源了一项新技术DroPE。