
LSA优化超长上下文索引,千万Token测试中单层预填充提速22.7倍(在新窗口打开)
Prefrontal AI与ETH团队提出隐空间稀疏注意力,以聚类和层次索引筛选历史Token。论文区分单层计算与整模型首Token时间,22.7倍对应GLM指定注意力层的测试结果。
共 2 篇

Prefrontal AI与ETH团队提出隐空间稀疏注意力,以聚类和层次索引筛选历史Token。论文区分单层计算与整模型首Token时间,22.7倍对应GLM指定注意力层的测试结果。

Bo Liu课题组在NeurIPS 2026论文中发现,多Agent通信并非信息越充分越好,Qwen3-Next-80B-A3B向Qwen3.5-9B发送消息使ContextBench准确率提高14.2个百分点,却令ToolSandbox下降23.6个百分点,并提出无需重训模型的按需通信策略。