字节Seed团队发布循环语言模型Ouro,在预训练阶段直接「思考」,Bengio组参与 (opens in a new tab)现代 LLM 通常依赖显式的文本生成过程(例如「思维链」)来进行「思考」训练。这种策略将推理任务推迟到训练后的阶段,未能充分挖掘预训练数据中的潜力。