Search

Results for “上下文”

Total 348 articles

检索做大,生成做轻:CMU团队系统评测RAG的语料与模型权衡

检索做大,生成做轻:CMU团队系统评测RAG的语料与模型权衡 (opens in a new tab)

在检索增强生成中,扩大生成模型规模往往能提升准确率,但也会显著抬高推理成本与部署门槛。CMU 团队在固定提示模板、上下文组织方式与证据预算,并保持检索与解码设置不变的前提下,系统比较了生成模型规模与检索语料规模的联合效应,发现扩充检索语料能够稳定增强 RAG,并在多项开放域问答基准上让小中型模型在更大语料下达到甚至超过更大模型在较小语料下的表现,同时在更高语料规模处呈现清晰的边际收益递减。

AI guides
0
MIT发现让AI变聪明的秘密,竟然和人类一模一样

MIT发现让AI变聪明的秘密,竟然和人类一模一样 (opens in a new tab)

你有没有发现,你让AI读一篇长文章,结果它读着读着就忘了前面的内容? 你让它处理一份超长的文档,结果它给出来的答案,牛头不对马嘴? 这个现象,学术界有个专门的名词,叫做上下文腐化。 这也是目前AI的通病:大模型的记忆力太差了,文章越长,模型越傻!

AI guides
0