隐式推理，继CoT思维链之后，LLM的下一个技术奇点系统性综述来了｜港科大最新

您对“思维链”（Chain-of-Thought）肯定不陌生，从最早的GPT-o1到后来震惊世界的Deepseek-R1，它通过让模型输出详细的思考步骤，确实解决了许多复杂的推理问题。但您肯定也为它那冗长的输出、高昂的API费用和感人的延迟头疼过，这些在产品落地时都是实实在在的阻碍。那么，有没有一种可能，让模型在自己的“脑子”里完成这些复杂的思考，然后干净利落地给出我们想要的答案呢？

什么是隐性推理？为什么咱们要关心它？

这就是AI领域目前最新的研究方向隐性推理（Implicit Reasoning），很可能是继显式推理之后下一代模型的主流技术范式，来自港科大的研究者们为这一新兴领域提供了一个全面而系统的蓝图，建议仔细认真看一下。它就像人类的“默想”，在脑海里完成一系列复杂的计算和推演，最后只输出一个结果，而不是把每一步都自言自语地念叨出来。研究者们之所以投入巨大精力探索它，是因为它直指当前大模型应用的核心痛点：在保持强大推理能力的同时，实现更高的效率和更低的成本，这对于任何一个追求性能和用户体验的AI产品来说，都太重要了。https://arxiv.org/abs/2509.02350

显式vs隐式：话痨与内敛的对决

为了让您更直观地理解，研究者们首先对LLM推理进行了定义，然后做了一个非常形象的对比。

LLM推理的通用数学框架(General LLM Reasoning)

模型根据输入的问题x，在内部生成一个包含M个中间步骤的“推理轨迹”（internal trace），记为 z1:M。模型根据原始问题x和刚刚生成的推理轨迹 z1:M，共同推导出最终的答案，这个公式告诉我们任何推理都离不开一个中间的“思考过程” z1:M。显性推理和隐性推理的根本区别，就在于这个 z1:M是否以文本形式被我们看到。

显性推理 (Explicit Reasoning)

显性推理（如思维链 CoT）就是上述通用框架的一个特例，它的“推理轨迹”是我们能读懂的文字步骤y1:T：这里用 y 来特指文本形式的推理步骤（例如，“步骤1：5 x 12 = 60...”）。它就是通用框架里z1:M 的一个具体化身。模型首先生成一段看得见的、自言自语式的思考草稿 y1:T，然后在这份草稿的指导下，得出最终答案 a。

这是我们熟悉的方式，比如思维链（CoT），模型在回答复杂问题时，会先生成一系列中间步骤的自然语言解释，然后给出最终答案。

• 优点：过程透明，方便人理解和检查模型的思考逻辑。
• 缺点：效率低下，生成冗长的中间步骤会消耗大量计算资源，导致高成本和高延迟，有时还会产生不必要的“过度思考”。

隐性推理 (Implicit Reasoning)

相应的，隐性推理是通用框架的另一个特例，它的“推理轨迹”是模型内部的隐藏状态，我们是看不到的。h1:L这里用 h 来特指隐藏的内部状态序列（例如，神经网络的激活值、潜令牌等）。它也是通用框架里z1:M 的具体化身，但对用户是不可见的。模型首先在内部生成一个我们看不见的、在潜空间中的思考过程 h1:L，然后直接利用这个内部思考过程，生成最终答案a。

这是一种更高效的推理方式。模型在接收到问题后，直接在内部的隐藏状态或“潜空间”（latent space）中进行多步计算和推理，最终只输出答案，而不会生成任何中间文本。这好比人在心里默想，最后直接给出结论。

• 优点：速度快、成本低、资源高效。同时，由于不受自然语言结构的束缚，它可以在内部探索更多样化的推理路径。
• 缺点：过程不透明，可解释性差，难以诊断错误。

核心揭秘：LLM如何实现隐性推理

听起来很神奇，但模型是如何做到在内部“思考”的呢？研究者们通过梳理现有工作，总结出了三条主流的技术路径，每一种都为我们打开了一扇观察模型“心智”的窗户。这部分是整篇论文的精华，研究者们还提供了一个会持续更新的GitHub仓库，感兴趣您可以关注下https://github.com/digailab/awesome-llm-implicit-reasoning

范式一：潜在优化，直接在“神经信号”层面做文章

第一种玩法，研究者称之为“潜在优化”（Latent Optimization），这可能是最符合我们对“思考”直觉的一种方式。它的核心思想是，既然思考发生在神经网络内部，那我们干脆就直接在模型的潜在空间（latent space），也就是那些高维向量构成的“神经信号”海洋里进行操作和优化，直接调整和优化模型内部的表示（representations），来提升推理能力，整个过程不产生任何中间文本输出。这种方法根据操作的粒度，又可以细分为三个层次：

• 令牌级 (Token-Level)：通过操控或插入特殊的潜在令牌（latent tokens）来引导推理。这些令牌不是自然语言词汇，而是模型内部的连续向量，可以携带抽象的语义或计算指令。

• 插入语义概念 (Semantic Concepts)：CoCoMix方法会从一个预训练的稀疏自编码器（SAE）中提取出代表连续语义的“概念”，并将这些概念融入模型的隐藏状态中，以增强模型的推理能力和可解释性。
• 插入非解释性潜令牌 (Latent Tokens)：Latent Token方法通过在输入序列中插入一些可学习但没有明确语义的潜令牌，来为模型提供额外的计算能力，且无需修改模型的主体结构。
• 使用离散潜码 (Discrete Latent Codes)：LPC方法使用离散的潜码来建模偏好，引导模型生成符合特定要求的输出，例如在数学任务中进行严谨的推理。
• 压缩文本为潜令牌 (Compressed Reasoning)：Token Assorted方法将文本片段压缩成紧凑的离散潜令牌，与普通文本令牌混合，从而实现推理过程的压缩，提升效率。

• 轨迹级 (Trajectory-Level)：将整个推理过程（轨迹）作为一个整体进行优化。典型做法是将一个完整的显式思维链压缩成一个或少数几个紧凑的潜在向量，让模型学习在这种压缩表示上进行推理。

• 语义锚定 (Semantic Anchoring)：这是最基础的方法，将潜空间中的推理轨迹与显性推理的语义进行对齐，以保证推理的忠实性。例如，CCoT将完整的推理链压缩成连续的“沉思令牌” ；HCoT则将推理过程压缩到一个特殊的[CoT]令牌中。
• 自适应效率 (Adaptive Efficiency)：这类方法旨在动态调整推理的长度或速度。例如，Light Thinker在推理过程中动态地将中间步骤压缩成紧凑的“要点令牌”，从而在保持性能的同时减少上下文长度。
• 渐进式精炼 (Progressive Refinement)：通过逐步或迭代的方式来优化推理过程。例如ICoT-SI采用课程学习的策略，逐步移除显性的CoT令牌，直到模型能直接从输入生成答案。Coconut则通过课程训练，逐步用模型的隐藏状态（连续思想）来替换CoT步骤。
• 探索性多样化 (Exploratory Diversification)：显性推理通常只探索一条路径，而这类方法通过引入软性或概率性的潜表示，让模型可以在内部并行探索多种推理可能性。例如，Soft Thinking生成概率加权的概念令牌，代表多种离散语义的混合体，从而在连续空间中探索多种推理路径。

• 内部状态级 (Internal-State-Level)：将模型的内部隐藏状态（hidden states）作为推理调控的目标。比如通过知识蒸馏（Knowledge Distillation）将一个显性推理模型（老师）的中间隐藏状态“教”给一个隐性推理模型（学生），使其学会在内部状态空间中直接进行推理。

• 隐藏状态蒸馏 (Hidden State Distillation)：ICoT-KD方法引入一个“模拟器”来预测教师模型（进行显性推理）的中间隐藏状态，然后用这个模拟器来训练学生模型，使其学会在自己的隐藏状态空间中直接进行“垂直”推理，而无需生成显性步骤。
• 引入潜思想向量 (Latent Thought Vectors)：LTMs方法在Transformer的每一层中都通过交叉注意力机制融入从高斯先验中采样的“潜思想向量”，这些向量作为整个序列的摘要，引导后续的生成过程。
• 混合潜推理 (Hybrid Latent Reasoning)：HRPO引入了一个门控机制，将隐藏状态逐步融入到采样的令牌嵌入中，并通过强化学习进行优化，从而在不需要CoT监督的情况下实现潜推理。

范式二：信号引导控制，给模型“思考一下”的指令

第二种思路就更直接了，叫“信号引导控制”（Signal-Guided Control），您可以把它想象成在和模型对话时，给它一些特殊的“指令”或“暗号”。这些指令不构成任何实质内容，但能告诉模型在某个节点上应该如何分配它的计算资源，比如是快速回答还是需要“多想一会儿”。最典型的例子就是引入一个[THINK]或[PAUSE]这样的特殊令牌，模型在处理到它时，就会在内部进行更多的计算迭代，但表面上却什么都没输出，从而在不增加输出长度的情况下提升了回答质量。

• 单一类型信号 (Single-Type Signal)：使用一种统一的控制机制来调节整个推理过程。
• 静态插入控制令牌：通过在输入中添加“思考令牌 (thinking tokens)” 或 “暂停令牌 (pause tokens)” ，给予模型更多的内部计算时间来处理复杂问题。
• 动态插入控制令牌：DIT方法会根据模型在每个位置的置信度（通过对数似然判断），动态地在低置信度的位置插入[PAUSE]令牌，以触发额外的内部计算，帮助模型更好地预测后续内容。

• 多种类型信号 (Multi-Type Signal)：使用多种不同的控制信号，每种信号负责推理过程的一个特定方面，从而实现更精细的控制。
• 方法示例：Memory & Reasoning方法引入了<memory>和<reason>两种可学习的控制令牌 。模型在生成过程中可以自主决定是调用<memory>令牌来执行记忆检索，还是调用<reason>令牌来执行逻辑推理，从而将推理过程分解为明确的内部动作。

范式三：层级循环执行，让模型架构有“反思”能力

最后一种，也是最硬核的一种，是从模型架构本身下手，叫做“层级循环执行”（Layer-Recurrent Execution）。如果说前两种是“软件”层面的优化，那这一种就是“硬件”升级，它通过在Transformer架构中引入循环机制，让模型的某些层或模块的参数被重复使用，从而迭代地深化计算过程，模拟多步推理。这相当于在不显著增加模型参数量的情况下，动态地增加了模型的计算深度。

• looped Transformer通过让K个Transformer层循环L次，以较小的参数量实现巨大的计算深度，从而解决复杂的推理任务。
• CoTFormer同样基于权重共享的循环架构，并且能够根据不同令牌的难度，动态地、自适应地调整循环（重复计算）的次数，以平衡计算成本和准确率。
• RELAY方法通过一种“迭代-对齐”机制，将循环模型的每一次迭代与显性CoT的每一步推理进行对齐，从而提升了循环模型在解决复杂问题时的准确性。

我们怎么知道模型真的在“思考”？

不过，您可能会问，这一切听起来很棒，但我们怎么确定模型是真的在进行有逻辑的内部推理，而不是靠着强大的记忆力或某些统计捷径在“猜”答案呢？这个问题非常关键，研究者们总结了三个方面的证据来支撑隐性推理的存在

• 层级结构证据 (Layer-wise Structural Evidence)：通过分析模型的网络层发现，很多时候不需要等到最后一层输出，中间层的“神经激活”状态就已经能相当准确地预测出最终答案了，这说明关键的计算早已在内部完成。
• 行为特征证据 (Behavioral Signatures)：研究观察到，模型在经过长时间训练后，会发生从“死记硬背”到“理解泛化”的突变，比如著名的Grokkin（顿悟现象），这被认为是隐性推理能力涌现的标志。此外，模型在推理时表现出的“跳步”（step-skipping）行为也表明它可以将一些计算内化。
• 基于表示的分析 (Representation-Based Analysis)：通过使用“探针”（probe）等技术分析模型的内部表示，研究人员发现模型的注意力模式中隐式地编码了推理树结构 ，并且可以通过干预模型的激活状态来诱导其进行推理。

如何衡量“看不见”的思考？

既然隐式推理的过程我们看不见，那要怎么评估它“想”得好不好呢？这确实是个挑战，传统的评估方法显然不够用了。研究者们提出，我们需要一个更立体的评估体系，它至少应该包含这四个维度：

• 答案正确性：

这永远是底线，不管过程如何，最终答案得对，常用的有准确率（Accuracy）、Pass@k等。

• 资源效率：

这是隐式推理的核心价值所在，必须关注解码延迟、输出长度、GPU使用率等指标。ACU 是一个衡量效率的复合指标。一个模型可能准确率很高，但如果它巨大无比且输出冗长，那么它的ACU值就会很低。相反，一个轻量级、输出简洁的模型，即便准确率稍低，也可能有很高的ACU值。这个指标对于在资源受限设备上部署模型非常有价值。

• 语言建模能力：

通过困惑度（Perplexity）等指标，评估模型本身的基础是否扎实，毕竟强大的推理离不开对语言的深刻理解。PPL: 衡量模型在预测下一个词时的“不确定性”。PPL值越低，说明模型对语言的把握越准，预测能力越强。

• 内部推理质量：

通过前面提到的“探针准确率”等方法，间接衡量其内部计算过程的逻辑性和有效性。

h(i):模型在处理第`i`个样本时，其内部某个特定层的隐藏状态（可以看作是模型的“神经活动快照”）。

- z(i):我们想要探测的中间推理结果（比如，在一个多步数学题中第一步的计算结果）。

- fϕ:一个简单的、额外训练的分类器，我们称之为“探针”。它的任务是学习如何从复杂的隐藏状态 h 中“解码”出我们关心的中间结果z。

- Lprobe: 训练这个探针时使用的损失函数，目标是让探针的预测越来越准 。

- `ProbingAcc`:探针的准确率。即这个探针能在多大程度上成功地从模型内部的神经活动中，正确地“读出”模型此刻的中间思考结果。

这套方法就像是给AI做一个“脑电图”。训练一个“解码器”（探针），尝试从模型复杂的脑电波（隐藏状态）中，读取出它此刻是否正在思考某个特定的中间步骤。如果探针的准确率很高，就提供了有力的间接证据，表明模型确实在内部进行了结构化的、有逻辑的计算，而不是在“走神”或“瞎猜”。

基准数据集 (Benchmarks)

论文系统梳理了超过70个用于评估推理能力的数据集 ，并将它们分为五大类：

• 通用知识和常识推理（如CommonsenseQA）
• 数学推理和编程（如GSM8K,HumanEval）
• 语言建模和阅读理解（如SQUAD）
• 复杂多跳和多学科问答（如HotpotQA,MMLU）
• 多模态推理（如ScienceQA）

前方的路：挑战与机遇并存

当然，隐式推理目前还处于早期探索阶段，远非完美，研究者们总结了隐式推理目前的几个核心难题：

1. 可解释性差和潜空间不透明：内部过程是黑箱，难以理解和信任。
2. 可控性和可靠性有限：难以在推理失败时进行干预和修正。
3. 与显性推理的性能差距：在准确率上，隐性推理方法通常还比不过最好的显性推理方法。
4. 缺乏标准化的评估：评估方法不统一，难以公平比较不同研究。
5. 架构和泛化能力的限制：许多方法依赖特定的模型架构，难以推广。
6. 依赖显性监督：大多数隐性推理模型仍需要显性思维链数据来进行训练，这限制了其应用范围。

从“思维链”的娓娓道来，到“隐式推理”的干净利落，无论是深入神经网络内部的‘潜在优化’，还是巧妙引导计算的‘信号引导’，抑或是重塑架构的‘层级循环’，我们看到研究者们正从软硬件全方位地探索AI‘默想’的可能性。尽管挑战重重，但可以预见，未来几年，隐式推理的研究将从实验室走向更广泛的应用。当下一代AI模型不仅能言善辩，更能深思熟虑、敏锐行动时，一个真正的人工智能时代或许才算真正来临。

文章来自于“AI修猫Prompt”，作者“AI修猫Prompt”。