Search

Results for “Token”

Total 619 articles

AEPO:智能体熵平衡策略优化,让探索更稳,推理更深!

AEPO:智能体熵平衡策略优化,让探索更稳,推理更深! (opens in a new tab)

AEPO 系统性揭示了「高熵 Rollout 采样坍缩」和「高熵梯度裁剪」问题,并设计了「动态熵平衡 Rollout 采样」与「熵平衡策略优化」两项核心机制。前者通过熵预监控与连续分支惩罚实现全局与局部探索预算的自适应分配,后者在策略更新阶段引入梯度停止与熵感知优势估计以保留高熵 token 的探索梯度。

AI guides
0
递归语言模型登场!MIT华人新作爆火,扩展模型上下文便宜又简单

递归语言模型登场!MIT华人新作爆火,扩展模型上下文便宜又简单 (opens in a new tab)

目前,所有主流 LLM 都有一个固定的上下文窗口(如 200k, 1M tokens)。一旦输入超过这个限制,模型就无法处理。 即使在窗口内,当上下文变得非常长时,模型的性能也会急剧下降,这种现象被称为「上下文腐烂」(Context Rot):模型会「忘记」开头的信息,或者整体推理能力下降。

AI news
0