李航，张少华，林苑
我们每天都在使用大语言模型（LargeLanguageModel，LLM）。一个明显的感受是，它们似乎真的能够理解我们的语言，虽然有时也会出现幻觉。另一方面，观察LLM输出的思维链，也就是其推理过程的语言表示，我们会感到它们好像真的能像人一样思考。
最近字节跳动的李航、张少华、林苑发表了一篇文章。论述：LLM的语言和思考能力是怎样的能力？这些能力是如何通过其实现原理和方法、乃至工作机制形成的？
全文链接：https://github.com/hangli-hl/AI-Articles/tree/main
LLM技术是人类创造出来的，其实现原理是清楚的，但其工作机制（Mechanics）仍未被充分理解。LLM规模极其庞大，工作机制极其复杂，给对其能力的研究带来了很大困难。
ChatGPT问世以来，已有大量关于LLM机制和特性的研究，特别是近年关于工作机制（或可解释性）的研究。这些工作从不同角度对这一AI的核心课题给出了一定程度的回答。但仍有许多问题有待今后的研究。
该文章将对LLM的基本原理和实现方法做了总结，也对LLM工作机制的研究进行简单的介绍，包括字节跳动做的LLM记忆机制的工作；在此基础上，对LLM的能力形成提出自己的看法。
引用：LLM记忆机制论文：ShaohuaZhang,YuanLin,HangLi,MemoryRetrievalandConsolidationinLargeLanguageModelsthroughFunctionTokens,2025.https://arxiv.org/abs/2510.08203
1主要观点
文章阐述了以下主要观点。
LLM学习到的是语言使用和推理的模式，重要的是学到了其高阶模式。LLM的学习属于机器学习，其学习得到的内容本质上是数据中的统计规律，或者说数据中的模式（Patterns）。语言数据内容丰富，包含了词汇、语法、语义、语用信息和世界知识。我们可以看到，LLM不仅学习到了与词汇和语法相关的低阶模式，而且也学习到了与语义、语用和世界知识相关的高阶模式（HigherOrderPatterns）。之前的语言模型往往做不到这一点，而这正是ChatGPT以及后续的LLM「涌现」出来的能力。因此，认为LLM仅仅学到了语言的形式而没有学到内容的观点（例如后述乔姆斯基的看法）并不能令人信服。
可以用NextTokenPrediction(NTP)来概括其基本实现原理，但整体能力是由策略、模型、算法及数据这几个要素共同决定的。LLM的学习和推理的过程是NTP，但这只是表面的形式，其具体的实现方法以及其特点更为重要。预训练中使用的极大似然估计（等价于数据压缩）是估计词元序列数据的概率分布。后训练的强化学习旨在微调模型，使其成为最优词元序列生成的策略函数。作为模型的Transformer具有极强的语言和知识表示能力。随机梯度下降的优化算法则能帮助找到具有良好泛化性的解。LLM的关键在于对这些技术的系统整合与规模化实现。有观点将LLM的成功简单归因于NTP，这是过于简单化的理解。
LLM的内部机制已得到一定的解析和理解。近年LLM可解释性研究取得了一定进展，现在LLM对我们来说已不再完全是黑盒。LLM中的特征可以通过SAE等工具提取出来，特征之间形成的回路也可以利用CLT等工具追踪。字节跳动最近的工作进一步揭示了LLM中特征在学习过程中被记忆、在推理中被检索的规律。随着未来研究的不断深入，LLM的工作机制会越来越多地被我们解析和理解。
2LLM的工作机制
LLM的研究可以从三个视角进行：机器学习方法与理论、外部提示实验分析、内部工作机制研究。若将LLM比作人脑，工作机制的研究则对应着脑科学实验。
2.1特征叠加
神经网络的每一层上都可能存在着「特征叠加」（Superposition）现象。传统的观点认为，一个神经元表示一个特征。然而，大量实验表明，这种理想化的情况在实际网络中比较少见。相反，神经元与特征之间往往呈现的是多对多的对应关系：即一个神经元参与表示多个特征，一个特征由多个神经元共同表示。
图1：LLM的语言和思考能力、工作机制、实现原理和方法之间的关系。
Anthropic研究团队提出了特征叠加假说（SuperpositionHypothesis）。其核心思想是：通过特征叠加，神经网络的一层神经元可以近似表示远大于其数量的特征，代价是特征之间存在一定程度的干扰。
实盘可查配资平台神经网络的一层（称为实际层）可以表示为：
其中，是输入向量，位于输入空间中；是权重矩阵；是偏置向量；是输出向量或特征向量；ReLU是激活函数。
特征叠加理论指出，存在一个更宽的假想神经网络层，使用更多神经元来显式表示大量的特征：
其中，是特征向量，其每一维对应一个特征，且满足
，即宽层的维度远大于实际层的维度；和是权重矩阵和偏置向量。
重要的是宽层的特征向量
是稀疏的，而实际层的特征向量
是稠密的。稀疏性意味着对于每个输入，只有少数特征被激活（例如，一万个特征中只有几十个被激活），使得不同特征之间的干扰较小。
特征叠加假说认为，宽层与实际层之间存在近似等价关系。具体而言，两者都能通过线性变换近似复原输入向量，得到近似重建
被压缩到了稠密的特征向量之中。稀疏的特征向量是近乎相互独立的（非叠加的），稠密的特征向量是被叠加的。
图2：原始的前馈神经网络与近似等价的更宽的神经网络。
高维几何理论为宽层的存在性提供了一定的保证。在相关定义的条件下，
维空间中近乎正交的基向量个数可以达到
的指数级。假设
是输入空间的一组近乎正交的基向量，则输入向量可近似分解为：
这里每一个基向量和其激活值对应一个特征。基向量近乎正交，特征向量稀疏，就能很好地表示输入向量，并且减少特征之间的干扰。
特征叠加假说认为，深度学习的方法能够达到这样的效果，也就是实际层（稠密特征向量）实现了对宽层（稀疏特征向量）的压缩，或者说实际层（稠密特征向量）隐式地蕴含了宽层（稀疏特征向量）。这主要有两方面的原因。
首先，一般的输入向量所包含的特征数量是稀疏的。例如，在处理「我访问了金门大桥」中的「桥」这一词元时，宽层特征向量中，可能只有少数几个特征被激活（如「金门大桥」、「旧金山」、「桥梁结构」、「旅游景点」等），其他特征取值均为零。这种稀疏性保证了大量近乎正交特征之间的干扰足够小，使得叠加机制切实可行。
其次，在训练过程中，神经网络通过梯度下降最小化损失函数。当网络面临「表示尽可能多的特征」与「使用尽可能少的神经元」这两个目标时，特征叠加成为一种自然的优化结果。另外，ReLU激活函数的使用也促进了特征向量的稀疏化，因为较弱的激活值会被截断为零。
上述特征叠加假说的合理性，已在Anthropic的玩具模型（toymodel）模拟实验中得到验证，并在后续稀疏自编码器（SparseAutoencoder）的开发与应用中获得了进一步的支持。
2.2SAE：特征分析
稀疏自编码器（SparseAutoencoder，SAE）可以用于分析神经网络，发现其中具有可解释性的特征。在LLM的可解释性研究中，通常将其应用于Transformer的残差流，即在每层的输出表示向量上。
SAE与特征叠加理论形成了互补关系。特征叠加可以被视为一种压缩过程：模型隐式地通过高维且稀疏的特征向量对输入向量进行表示。而SAE则可以被视为一种「解压」方法：将输入向量分解为高维且稀疏的特征向量。这种「压缩—解压」的关系，使SAE成为研究和分析特征叠加现象的重要工具。
SAE由编码器（Encoder）和解码器（Decoder）组成。首先，编码器通过非线性变换将输入向量转换为高维且稀疏的特征向量：
其中，
是来自LLM某一层的残差流，编码器权重矩阵，
是偏置向量，
是特征向量，满足
，即特征维度远大于输入维度。
解码器通过线性变换从特征向量重构原始输入向量：
其中，
是解码器权重矩阵，
是偏置向量。解码器采用线性变换（无激活函数），这一设计与特征叠加理论中的特征的线性组合假设一致。
SAE的训练中在两个目标之间进行权衡：一方面，使重构向量尽可能接近原始输入向量；另一方面，引入
或近似
正则化来促进特征向量的稀疏性。
在实际操作中，SAE的训练需要从目标LLM中提取大量数据。将大规模语料输入到LLM，收集模型在处理每个词元时产生的激活向量（如每一层的残差流）。这些向量
构成SAE的训练数据集。训练完成后，对于任意输入
，编码器输出的通常呈现出较强的稀疏性。
通过SAE得到的稀疏激活特征与特征叠加理论的预测一致，即模型可能将远多于神经元数量的潜在概念编码在神经元中。例如，研究者在对大语言模型进行分析时，已经成功提取出数十万到百万量级的特征，其中一些特征具有明显的语义含义，例如与实体（如「金门大桥」）或行为（如「谄媚」，Sycophancy）相关的特征。
分析表明，大语言模型中的特征往往呈现出一定的层次化结构：浅层基本是表示输入的词法与简单语法的特征；中间层有大量复杂语法和基本语义的特征；深层主要是复杂语义、推理实现和输出表达的特征。
2.3记忆机制
字节跳动的工作提出了功能词元假说，揭示了LLM的记忆机制的基本特点。功能词元假说（FunctionTokenHypothesis）认为，LLM中特征的记忆是围绕着功能词元展开的，特征在一个上下文的检索，也是通过功能词元进行的。
元股证券:ygzq.hk功能词元是指在训练语料中出现频率最高的词元，大部分对应于语言学中的功能词，在语法和上下文连接上起着关键作用。例如，冠词「the」、标点符号（逗号、句号）、换行符等。与之相对的是内容词元，表达明确且丰富的语义信息。统计表明，在大规模预训练语料中，前100多个高频词元就占了所有词元出现次数的大约40%。
在LLM的预训练阶段，学习过程呈现出以功能词元为中心的显著特点。通过将训练损失按照功能词元和内容词元的四种组合进行分解观察，结果发现，「功能词元→内容词元」的损失函数下降得最慢。也就是说，根据功能词元来预测下一个内容词元是最困难的。从语言学的角度看，这是合理的，因为功能词元往往标志着前一个语言单元（Chunk）的结束，要预测它之后的内容词元，需要对从开头到当前位置的整个上下文有准确的理解。可以推断，正是这种最难的预测任务，成为了驱动模型优化的主导力量。
另一个发现是功能词元在训练的过程中能激活大部分特征（在不同的上下文激活不同的稀疏特征）。将功能词元和特征之间建立二部图。如果一个功能词元在某个上下文激活了某个特征，就在两者之间建立一个边。随着训练的深入，二部图上的边不断增加。最后，少量功能词元能与大部分特征之间建立联系，前10个高频词元激活70%的特征，也就是说，这些功能词元能（在不同的上下文）激活大部分特征。这里也存在着幂律分布。
在推理过程中，功能词元发挥着记忆检索的核心作用。它们能从上下文中动态地激活最具预测性的特征，从而指导下一个词元的生成。例如，如图3所示，当提示为「AnswerthequestioninChinese:WhatisthecapitalofRussia?」时，功能词元（如冒号「:」和换行符）会激活上下文中「用中文回答」和「俄罗斯」等特征，同时抑制无关特征，最终引导模型用中文生成答案「莫斯科」。这种动态的特征选择与组合能力，正是功能词元区别于内容词元的关键特性。
图3：LLM推理过程中功能词元发挥着记忆检索的核心作用。
功能词元之所以在LLM中发挥如此关键的作用，是训练目标、学习算法、模型架构和语言特性共同作用的结果。首先，下一词元预测的训练目标（交叉熵损失）要求模型最大化预测准确性，而梯度下降算法总是优先降低损失最大的部分。其次，Transformer架构中的前馈网络层能将知识（特征）进行很好的表示和记忆，自注意力层能将低阶的知识（特征）有效地组合成高阶的知识（特征）。最后，自然语言本身的结构特性起到了决定性作用，文本总是被功能词元分割成嵌套的Chunk（可以是短语、句子或段落）。因此，对功能词元之后的预测，需要理解从文本开头到该位置的整个上下文语义。这是一项极具挑战性的任务，促使功能词元在训练中获得连接大部分特征的能力，并在推理时重新激活最具预测性的特征。
功能词元假说对LLM训练实践具有深刻启示。其中最重要的一点是训练数据的格式至关重要。多项研究的结果印证了这一点。在后训练阶段，仅需少量训练步骤就能显著提升模型的指令遵循、思维链推理等能力。这可能是因为后训练通过调整功能词元的激活模式，激活了预训练期间已经习得的特征。例如，功能词元（如「thus」）在强化学习训练中能够显著提升推理性能。
2.4CLT：回路分析
回路（Circuit）是指在LLM中跨层连接特征的计算图，用于表示模型中的特征是如何被激活和传播的。因为SAE只能看到单层的特征，具有较大的局限性。为了分析跨层的特征的连接和影响关系，研究者提出了CLT（CrossLayerTranscoder，跨层转码器）方法。
CLT的工作原理是：以某一层的残差流
作为输入，模型将其映射到后续各层的残差流
。通过这种方式，CLT能够学习到一个跨层对齐的特征字典，捕捉不同层之间的特征影响关系。
CLT在每一层都有一个类似SAE的特征抽取模块，但其优化目标有很大不同。每一层的输出是复现的后续各个层的残差流。它由非线性变换（对应编码器）、线性变换（对应跨层映射）以及线性解码变换组成：
其中，
是第层编码器权重矩阵，是偏置向量；
是第
层解码器权重矩阵，
是偏置向量；
是将特征从第层映射到第
层的跨层线性变换权重矩阵，是偏置向量。通过跨层线性变换，
实现从第层特征空间到第
层特征空间的线性投影。CLT的训练目标由所有层的重构误差的最小化和稀疏性正则化组成。
基于CLT的分析结果可以构建归因图（AttributionGraph），直观地展示特征在模型各层之间的线性映射关系，帮助理解LLM内部的知识表示和计算机制。
归因图的构建基于训练好的CLT模型。给定一个具体的输入提示，首先运行原始Transformer模型，记录各层的残差流
。然后，利用CLT提取每一层的稀疏特征
，并通过跨层映射矩阵
分析特征之间的映射关系。
归因图是一个有向无环图，表示从输入词元到输出词元的计算路径。在这个图中，节点代表模型中激活的特征或词元嵌入，而边则代表节点之间的影响关系。具体而言，如果特征在层
的激活
，且通过跨层映射
对特征在层的激活有显著贡献，则在图中添加从节点到
的有向边。
为了提高归因图的可解释性，采用剪枝技术对图进行精简。通过设置阈值，只保留激活强度和贡献度显著的节点和边。进一步使用梯度回传，识别对最终输出贡献最大的路径。得到的精简归因图能够更清晰地展示模型中的特征激活和推理路径，揭示模型在特定场景中的核心特征回路。
anthropicblog：https://transformer-circuits.pub/2025/attribution-graphs/methods.html
3LLM的语言理解和推理
3.1LLM的能力
3.1.1高阶模式
从其行为表现来看，大语言模型已展现出人类同等以上的语言与推理能力。以图灵测试为衡量标准，即考察其在对话中是否无法与人类区分，LLM已达到了人类水平。
LLM所习得的不仅限于语言的低阶模式，更涵盖了语言与推理的高阶模式。这一点在我们日常使用LLM时可以得到直观验证。例如，LLM能够理解并执行「喜马拉雅山有多高，用英文回答」这类指令，体现了其语用能力；它还能够辨析「金门大桥与金拱门的关系」这类涉及概念异同的问题，显示出语义理解与世界知识的整合能力。
从内部机制的分析角度看，「金门大桥」、「谄媚」等概念特征在模型中的存在，同样揭示了LLM具备语义与语用层面的理解能力。
乔姆斯基曾批评LLM仅学习到语言的表层统计规律。然而，以上事实表明，这一判断并不成立。不过，这并不意味着LLM与人类语言能力完全等同。事实上，LLM的语言机制与人类大脑存在显著差异。例如，人脑的语言理解依赖于布洛卡区与韦尼克区两个脑区的协同工作：前者主要负责语法处理，后者则承担词汇处理功能。
3.1.2整体机制
大语言模型（LLM）的整体工作机制可以从训练方式、策略、算法和模型来理解（见图5）。其训练方式通常包括预训练和后训练两个阶段，并通过两步训练融合，使模型在同一体系中同时具备语言理解、生成与推理能力。在机制上，LLM基于自回归预测，即根据已有上下文逐步预测下一个词，这一过程也可以看作一种序列决策过程。
图5：LLM的机制可以从训练方式、策略、算法和模型来理解。
在预训练阶段，模型通过大规模语料学习统计规律，给定足够长的上文，下一个词元的概率分布往往会更加集中；而在后训练阶段，通过人类反馈或策略优化，使模型在相同上下文下更倾向生成最合理、最符合人类偏好的下文。
从技术实现上看，学习策略负责定义预测目标和优化方向，算法用于调整模型参数以达到最优目标，而模型结构则决定了表达能力，通过自注意力机制实现特征组合，通过前馈网络进行特征检测（非线性变换），并通过多层结构形成层次化表示。这些都对LLM的类人语言和推理能力起着重要作用。
模型性能的提升还体现出明显的规模效应：随着数据量、参数规模和计算资源的增加，模型能力会产生质的飞跃。同时，数据质量和训练设计（例如高质量语料和系统提示设计）也对效果至关重要。
这样训练得到的LLM中形成了大量的特征，表示着各种不同的概念，根据不同的上下文，这些不同的特征被激活，动态形成回路，实现复杂的语言处理和推理机制。
3.2与人类能力的比较
表1对比了LLM与人类的能力。可以看出，LLM在语言与推理任务上已具备与人类相当甚至超越人类的水平。然而，在其他能力维度上，两者不仅机制可能存在根本差异，其性能也并非简单可比。下面对此进行简要说明与讨论。
1:LLM与人类能力比较
幻觉本质源于对事实的判断错误。LLM自身无法解决幻觉问题。因为它学习的是语言数据中的统计规律。理论证明，在一定假设条件下，语言生成过程中一定会以一定概率产生幻觉。幻觉问题可通过其他机制加以缓解，比如，检索增强生成（RAG）。
人的思考包含多个方面，不仅涉及语言、推理和数学，还与五种感官（视觉、听觉、触觉、嗅觉、味觉）以及运动系统密切相关。具身认知假说认为，思考的过程并非纯粹的符号运算，而是基于身体的感知运动经验，在心智中进行模拟。当前的多模态大语言模型（MLLM）能够将语言推理与视觉、听觉等信息进行关联处理，但其推理过程通常发生在语言表示空间。这种处理方式与人类基于具身体验的、丰富的、有意识的思考有着本质区别。
最近也有一些工作尝试进行多模态推理，让模型能够「边看边想」；但这些方法仍属于比较初步的探索。因此，从具身认知的角度看，MLLM的思考能力与人类仍有显著差距。
LLM既不是基于形式逻辑规则（如命题逻辑）进行推理，也不是按照计算规则进行算术运算。它可以通过其生成机制模拟，呈现出一定的启发式推理和计算能力，但在处理复杂问题时，由于缺乏严谨性，容易产生错误。因此，LLM在这方面存在局限性。
LLM是否有创造力，还是一个开放式的问题，这也依赖于对创造力的定义。创新分渐进式创新和颠覆性创新。通过观察可以发现，LLM应该也具备渐进式创新能力。而颠覆式创新，如相对论理论的建立，LLM是否能够做到，目前尚无定论。IlyaSutskever认为LLM可以做插值（interpolation），但外推（extrapolation）是开放问题，也是类似的想法。
LLM并不存在对应人的意识机制，虽然我们会感到与LLM对话时有与真人交互的感觉。意识是指人的心智中感受到的对内部身体和外部环境的知觉。意识是清醒时人脑处于的一种状态证券配资操作指南，与其相对的其他状态是深度睡眠、昏迷、死亡。意识是主观的，是每个人以自我为中心的精神活动，对我们每个人来说自己的意识是持续的、一贯的、稳定的。同时，意识又是客观的，它对应着人脑神经系统的高层次处理，由人脑神经系统的低层次处理支撑。全局工作空间理论（GlobalWorkspaceTheory）认为意识是脑内信息的全局广播。
宁夏配资网提示：本文来自互联网，不代表本网站观点。
