从脑与认知科学看人工智能

本文将从脑与认知科学的角度,分析近期大模型在结构、记忆、思维、多智能体与具身智能上的关键问题。

序言

这几年 AI 一直在飞速发展,数据量、参数量、训练时间这三个维度的 Scaling Law 从未停止。以语言模型为代表的深度学习系统,已经在大量任务上表现出随着规模扩大而稳定提升的经验规律;与此同时,关于“涌现能力”的讨论,也让人们看到规模化不只是线性提分,而可能带来新的任务能力边界(Scaling Laws for Neural Language Models, Emergent Abilities of Large Language Models, Emergent Abilities in Large Language Models: A Survey)。

但规模化并没有消除原始架构的局限,反而把它们放大了出来。持续学习中的灾难性遗忘、分布外泛化和 OOD 评估问题、长期记忆与可更新知识结构的缺失、以及抽象推理与世界建模能力的不足,仍然是今天大模型必须正面面对的问题(Continual Learning of Large Language Models: A Comprehensive Survey, Continual Learning for Large Language Models: A Survey, A Survey on Evaluation of Out-of-Distribution Generalization, Generalized Out-of-Distribution Detection: A Survey)。

我一直认为 AI 更应该直接追求 ASI,而不是把“尽可能像人”当成唯一目标。更准确地说,我并不认为硅基系统的价值在于 100% 拟合碳基大脑,而在于发挥它们各自的优势:外部数字存储可以精确复制、长期保存并无损回放,而人类记忆——尤其是情景记忆——本质上更接近一种可重建、可扭曲、会随当前语境变化的构造过程;反过来,生物脑在发育、具身、稀疏化、跨时间自组织和能量效率上的复杂度,又远远不是今天的计算机系统能够轻松复刻的(The cognitive neuroscience of constructive memory, What Do People Believe About Memory? Implications for the Science and Pseudoscience of Clinical Practice, The metabolic costs of cognition)。

本文将从脑与认知科学的角度,分析近期大模型在结构、记忆、思维、多智能体与具身智能上的关键问题,讨论为什么目前的大模型天然并不适合作为类人的长期 agent,以及如果不把计算效率视为唯一目标,如何让大模型在某些方面更“拟人”,在另一些方面更走向“ASI”。

脑与大模型的结构

与生物脑相比,今天主流大模型的一个核心特征,是它们被构建在更强调规则、统一、可批处理和易并行的数据流之上。这种工程现实,使得统一 block 的重复堆叠、统一训练目标和统一硬件友好的矩阵计算,成为过去几年最成功的路线;而生物脑则是在基因约束、发育程序、身体反馈与环境交互中逐渐形成的异质网络。工程上,神经架构搜索和 AutoML 的确已经在探索“让系统自动发现更优高层结构”,但这些工作主要搜索模块、连接和算子组合,还远不是生物发育意义上的跨尺度自组织(Neural Architecture Search: A Survey, AutoML-Zero: Evolving Machine Learning Algorithms From Scratch, Attention Is All You Need)。

如果把“复杂性”简单理解成参数量、数据量和训练时长,那么今天的大模型已经把复杂性推到了前所未有的规模;但如果把复杂性理解成一个智能系统在概率、能量、拓扑、调制与表征多个尺度上的组织方式,那么生物脑与主流大模型之间更关键的差异,并不只是“谁更大”,而是“复杂性被放在了哪里”。主流 Transformer 家族把复杂性主要放在统一 block 的重复堆叠、巨量参数和统计训练上,而生物脑则把复杂性分散在异质结构、稀疏连接、神经调质、群体编码以及跨时间尺度的状态切换中(Attention Is All You Need, 20 years of the default mode network: A review and synthesis, Mechanisms of neuromodulatory volume transmission and their possible relevance for psychiatry, Information Processing with Population Codes)。

碳基大脑

和流行科普里常见的绝对表述不同,成人神经系统并不是“完全不会再产生新神经元”。更准确的说法是:成人神经发生有限、区域特异,而且在人类海马中长期存在争议。到 2025–2026 年,新的分子与单细胞证据继续支持成年与老年人海马中存在神经发生,但其规模、功能意义和个体差异仍在研究之中;因此,把成人大脑简单描述为“只会不断减少神经元”已经不够准确(Human hippocampal neurogenesis in adulthood, ageing and Alzheimer’s disease, Adult neurogenesis: New neurons, new opportunities)。

更稳妥的事实是:人类大脑大约拥有 860 亿个神经元,而出生后尤其是婴幼儿时期,会经历非常快速的突触生成、网络重组和随后漫长的经验依赖性修剪过程。早期的人体皮层研究显示,突触密度在发育早期会显著升高,随后在儿童与青春期经历下降;微胶质细胞参与 synaptic pruning 也已成为神经发育研究中的核心机制之一(The human brain in numbers: a linearly scaled-up primate brain, Synaptic density in human frontal cortex—developmental changes and effects of aging, Synaptic pruning by microglia is necessary for normal brain development, Typical development of synaptic and neuronal properties in the human prefrontal cortex from early childhood to young adulthood)。

因此,碳基大脑的关键并不只是“神经元很多”,而是它通过发育、修剪、髓鞘化、神经调质与身体经验,把一个原本高度冗余的系统逐步雕刻成稀疏、特化、带有强先验约束的网络。也正是这种“先过度生长、再经验依赖地做减法”的过程,让生物脑的结构并非只是硬编码出来,而是被身体与环境长期共同塑形(Typical development of synaptic and neuronal properties in the human prefrontal cortex from early childhood to young adulthood, Synaptic pruning mechanisms and application of emerging technologies, Glial modulation of synapse development and plasticity)。

模拟碳基大脑

对“模拟大脑到底有多难”这个问题,一个很有代表性的结果来自 Beniaguev、Segev 与 London 的工作。它们并不是直接模拟整个脑,而是问:如果只想在毫秒级时间精度上拟合一个真实生物神经元的输入—输出行为,需要多复杂的人工网络?结果显示,要逼近一个现实的 5 层皮层锥体细胞(L5PC)的输入/输出映射,需要一个 5–8 层的时间卷积网络,并且其表征复杂度远高于“一个生物神经元≈一个简单人工神经元”的直觉(Single cortical neurons as deep artificial neural networks, PubMed entry)。

如果把这种复杂度从单细胞放大到全脑,whole-brain emulation 的工程难度就会迅速失控。牛津 FHI 2008 年的《Whole Brain Emulation: A Roadmap》给出的数量级估计极宽,从大约 10^18 到 10^25 FLOPS 不等,取决于你要模拟到分子、突触、细胞还是更高层级。这一估计本身已经很老,但它至少清楚说明了一件事:“是否能模拟”与“要模拟到多细”是两个完全不同的问题Whole Brain Emulation: A Roadmap, A Preliminary Roadmap to Whole Brain Emulation)。

算力之外,真正让全脑模拟更困难的是能量与热约束。美国 ORNL 的 Frontier 在 2022 年成为首台官方跨过 exascale 门槛的超级计算机,达到约 1.1 exaflops 的实测性能;DOE 同期也把 exascale 机器的能效目标明确写成“每 exaflop 约 20 MW”。与之对照,人脑在静息状态下的总功耗大约只有 20 W 左右。两者并不是在执行同一个任务、同一个精度层级,因此不能做简单的一对一性能类比;但这个数量级差异足以说明,按今天电子计算和存储体系去做高保真脑模拟,代价仍然极高(Frontier supercomputer debuts as world’s fastest, breaking exascale barrier, Launching a New Class of U.S. Supercomputing, Paying the brain’s energy bill, A Cellular Perspective on Brain Energy Metabolism and Functional Imaging)。

2026 年 3 月,Eon Systems 发布了一项颇具话题性的演示:他们把 FlyWire 果蝇 connectome 与简化神经元模型、MuJoCo 物理身体和闭环控制拼接起来,展示出一个可以执行多种行为的“embodied fly”。但官方自己也明确说明,这仍然是 work in progress;而外部评论则指出,该系统更接近“用公开 connectome 做出的具身控制演示”,而不是严格意义上的“完整脑上传”或“活体果蝇在数字世界中的一比一复现”(Embodied Brain Emulation — Eon Systems, This is not a fly uploaded to a computer)。

因此,果蝇 connectome 演示给人的真正启示不是“上传意识已经完成”,而是另一件更重要的事:静态连线图确实可以成为一个强控制 scaffold,但它距离携带了发育历史、神经调质、体液状态、代谢约束和长期可塑性的完整生物脑,仍然相距甚远。

大模型底层复杂性逻辑

确定性、概率与统计学习

传统代码的基本气质是确定性的:在相同状态和相同输入下,程序应当给出相同输出。神经网络并不是对这一点的简单否定。对一个已经固定参数、关闭采样随机性的网络来说,推理过程本身仍然是一个确定性的函数;但它的训练目标、输出解释、泛化行为和可靠性分析,从一开始就是统计性的。现代分类网络通常把输入先映射到一个连续表征,再通过 softmax 映射成标签分布;而近年的工作进一步给出了 softmax 分类器的显式概率解释,把交叉熵写进更一般的变分目标之中(A Probabilistic Generalization of the Softmax Classifier, On Calibration of Modern Neural Networks)。

因此,“代码是确定的,神经网络是随机的”这种说法并不准确。更准确的写法是:现代神经网络是确定性的参数化函数,但它被嵌入在统计学习与概率决策框架里。这一点在“不确定性”问题上表现得尤其明显。大量研究已经指出,现代深度网络会给出意外、错误、但过度自信的预测;ReLU 网络甚至会在远离训练分布的位置给出高置信度输出。围绕这个问题,才逐渐发展出了 Bayesian neural network、MC dropout、deep ensembles、校准(calibration)和更系统的 uncertainty quantification 方法(A Survey on Uncertainty Quantification Methods for Deep Learning, Why ReLU networks yield high-confidence predictions far away from the training data, Weight Uncertainty in Neural Networks, Dropout as a Bayesian Approximation, Simple and Scalable Predictive Uncertainty Estimation using Deep Ensembles, On Calibration of Modern Neural Networks)。

如果再把视野放宽,今天神经网络中的“概率”也并不只体现在 softmax 这一层。VAE 用变分推断处理连续潜变量与不可解后验,normalizing flow 用可逆变换实现 exact likelihood,扩散/score-based 模型则显式学习数据分布的 score 或逆向随机过程。也就是说,现代神经网络并不是“假装自己在做概率”,而是在不同层面上真正把概率分布、似然、后验、置信度与采样过程纳入了建模对象(Auto-Encoding Variational Bayes, Density estimation using Real NVP, Score-Based Generative Modeling through Stochastic Differential Equations)。

最小能量、自由能与世界模型

人脑只占体重的大约 2%,却消耗约 20% 的静息代谢;神经系统不是在“无限能量”条件下求最优,而是在极强代谢约束下,用尽可能节省的方式完成预测、感知、控制和记忆巩固。这也是为什么神经科学中关于高效编码、代谢约束和能量最优化的讨论始终没有离开主舞台(A Cellular Perspective on Brain Energy Metabolism and Functional Imaging, The metabolic costs of cognition, Paying the brain’s energy bill)。

在机器学习里,“能量”这条线其实很早就存在。Hopfield 网络已经把神经网络写成了一个具有能量函数的动力系统;Boltzmann machine 则进一步把这种思想推进到随机网络与约束满足;LeCun 2006 年的 energy-based learning 教程则明确把“能量”提升为一个统一框架,并且强调 probabilistic model 只是 energy-based model 的一个特例,而不是反过来(Neural networks and physical systems with emergent collective computational abilities, A Learning Algorithm for Boltzmann Machines, A Tutorial on Energy-Based Learning)。

这里需要把两条经常被混写的“能量”路线区分开来。Friston 的 free-energy principle 来自变分 Bayes 与统计物理,核心是把 action、perception、learning 统一到变分自由能最小化框架里;而 LeCun 的 energy-based world model 路线则更偏工程实现,它关心的是如何用一个可配置的 world model、cost module、actor 与 memory,把预测、规划和行为组织成一个自主智能体架构。两者都使用“energy / free energy”这组语言,但它们的数学对象与工程落点并不相同,不能简单当作一个概念(A free energy principle for the brain, The free-energy principle: a unified brain theory?, A Path Towards Autonomous Machine Intelligence, Active inference as a theory of sentient behavior)。

LeCun 近年的 world model 路线,可以看作是“能量”思想在今天 AI 中最明确的一次重组:从早年的 Hopfield / Boltzmann / EBM,走到今天的 JEPA、latent dynamics 和 planning。JEPA 的关键转向是:不再执着于像素级重建,而是在表征空间里做预测。这条线从 Joint Embedding Predictive Architectures Focus on Slow Features、I-JEPA、V-JEPA,一直延伸到 DINO-WM、reward-free offline planning 和 value-guided JEPA planning;其中反复出现的主题都不是“重画一个像素世界”,而是“学到一个足够抽象、可用于预测和规划的潜在动力学空间”(Joint Embedding Predictive Architectures Focus on Slow Features, Self-Supervised Learning from Images with a Joint-Embedding Predictive Architecture, Revisiting Feature Prediction for Learning Visual Representations from Video, Learning by Reconstruction Produces Uninformative Features For Perception, DINO-WM, Learning from Reward-Free Offline Data, Value-guided action planning with JEPA world models)。

量子计算、量子机器学习与当前边界

量子相关话题很容易被混写成一个统一叙事,但实际上至少有三层不同对象:量子生物学、脑量子假说、量子计算/量子机器学习工程。量子生物学里相对更稳的研究对象,包括光合作用、鸟类导航等场景中的量子相干和 radical-pair 机制;这些结果说明量子效应可以在某些生物过程中留下功能性痕迹,但它们并不等于“脑的认知计算已经被证明是量子的”(Quantum Biology, Quantum Simulation and Quantum Coherent Devices, Physical Principles of Quantum Biology)。

脑量子假说本身也并不是单一理论。Penrose–Hameroff 的 Orch OR 把关键机制放在微管;Fisher 的方案则把核自旋与 Posner molecule 视为候选量子信息载体。与此同时,Tegmark 早期关于快速退相干的批评依然是相关讨论里的基准反对意见;到 2026 年,也仍有工作在从更细的开放量子系统假设出发继续修正这些估算。另一些更新实验则报告了与 radical-pair mechanism 一致的微管磁同位素效应。更准确的总结不是“脑量子思维已经被证明”或“已经被彻底否定”,而是:存在局部实验线索、存在强批评、也存在持续的理论修正The importance of quantum decoherence in brain processes, Quantum Computation in Brain Microtubules? Decoherence and Biological Feasibility, A quantum microtubule substrate of consciousness is experimentally supported, Tubulin polymerization dynamics are influenced by magnetic isotope effects consistent with the radical pair mechanism)。

而在工程上,当前更清楚的事实是:量子 AI 的主流并不是“用量子硬件直接训练一个大语言模型”,而是hybrid quantum-classical 工作流、变分量子线路、核方法、量子模拟与特定科学计算任务。CUDA-Q、IBM 的 quantum-centric supercomputing 路线,以及近年的 QML 综述,都把 CPU/GPU/QPU 的混合协同写成了现实主线;也就是说,量子更像一种正在形成的协处理计算范式,而不是已经准备好替代今天 foundation model 训练栈的成熟方案(CUDA-Q | NVIDIA Developer, NVIDIA Announces Hybrid Quantum-Classical Computing Platform, Quantum machine learning: A comprehensive review of integrating AI with quantum computing for computational advancements, Quantum machine learning)。

最近两年的前沿突破也更适合被分开看待。Willow 是 Google 在 2024 年发布的 105 物理比特芯片,重点在于误差校正与 below-threshold surface-code memory 的进展;而 Quantum Echoes 则是 2025 年在 Willow 上实现的、针对 OTOC 任务的 verifiable quantum advantage。这两件事是相关但不同的节点:前者是容错与硬件质量里程碑,后者是特定算法任务上的可验证量子优势(Meet Willow, our state-of-the-art quantum chip, Quantum error correction below the surface code threshold, Our Quantum Echoes algorithm is a big step toward real-world applications for quantum computing, A verifiable quantum advantage)。

同样,IBM 的 Nighthawk 和 QuEra 的 “100 逻辑比特” 也应该按证据等级理解。IBM 官方 roadmap 与 hardware 页面把 Nighthawk 写成面向更深量子电路和更强连通性的下一代处理器;QuEra 则把 2026 年 100 logical qubits 写成roadmap target,而不是已经公开交付的既成事实。把这些路线写清楚,比把所有量子新闻揉成一句“量子 AI 即将爆发”更重要(IBM Quantum Roadmap, IBM Quantum Hardware: Nighthawk, QuEra Quantum Roadmap, Roadmap for Advanced Error-Corrected Quantum Computers)。

形态拓扑

从形态拓扑上看,生物脑和主流大模型最大的视觉差异,不在于参数多少,而在于异质性。Hubel 与 Wiesel 对初级视觉皮层的经典研究,把简单细胞与复杂细胞的感受野层级清楚地摆了出来;后续工作继续支持“复杂细胞汇聚多个相近取向/频率偏好的简单细胞响应”这一层级图景。也就是说,视觉皮层从一开始就不是由单一重复模块构成的,而是沿着不同功能尺度逐步异化出来的。(Hubel & Wiesel, 1962, Complex cell receptive fields: evidence for a hierarchical mechanism

相比之下,Transformer 的主干设计从论文原点上就是“一个简单网络架构”:它把序列建模的主逻辑压缩为 attention + feed-forward 的重复堆叠块,并尽可能用统一 block 获得可扩展性、可并行性与工程简洁性。后来的大模型虽然在细节上引入了更多路由、位置编码、KV 机制与归一化技巧,但其主干审美仍然是统一结构的大规模堆叠。(Attention Is All You Need

MoE 是主流大模型第一次大规模地从“统一密集激活”向“条件稀疏激活”偏移。Sparsely-Gated MoE 让一个 router 只激活少数专家子网络,从而在计算量变化不大的前提下显著增加参数容量;Switch Transformer 则进一步用 top-1 routing 把这种条件计算推向更大规模。这里的关键变化不是“参数变更多”,而是不同输入开始走不同路径,于是网络内部第一次出现了比较明确的“局部专业化”与“选择性激活”。(Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer, Switch Transformers

MoE 让模型在性能、容量与计算成本之间获得了新的折中,但它并不是“天然更强”的免费午餐。近年的综述与分析普遍认为,MoE 的核心优势在于:通过稀疏激活少数专家,以较低计算代价换取更大的参数容量,从而在很多场景中取得更好的性能—成本权衡;与此同时,它的真实模块化程度、路由稳定性、负载均衡、泛化与鲁棒性仍然存在争议。一些综述甚至明确指出:相对于总参数规模相当、但全部密集激活的模型,稀疏 MoE 可能获得显著效率收益,但也可能伴随一定性能损失或训练复杂性上升。因此,MoE 更像是“把复杂性从统一计算挪到条件路由”的架构转向,而不是已经完成的生物式稀疏化答案(A Survey on Mixture of Experts in Large Language Models, A Closer Look into Mixture-of-Experts in Large Language Models)。

大脑网络调度与生化调控

如果从大尺度网络组织来比较,大脑更标准的写法不是简单的 “DMN vs TPN” 二分,而是 DMN / SN / CEN(或 FPN) 的三网络框架。DMN 与自我相关加工、社会认知、情景/自传体记忆、语言与语义记忆、mind wandering 等内部导向认知密切相关;SN 被认为在不同大尺度网络之间的切换中起关键作用;CEN/FPN 则更稳定地服务于任务执行与认知控制。这意味着,生物脑的复杂性并不只是“更多模块”,而是存在一个持续的跨网络状态切换机制。(20 years of the default mode network, The architecture of the human default mode network, Integrative Brain Network and Salience Models, Electrophysiological dynamics of antagonistic brain networks reflect attentional fluctuations

如果把这个框架再拆细一点,其实可以得到一个更接近你原始直觉、也更符合主流文献表述的图景:默认模式网络(DMN) 在没有外部任务压力时更活跃,常与休息、白日梦、自传体回忆、内部叙事和对过去经验的自发重组有关;中央执行网络(CEN) 更稳定地参与工作记忆、任务维持、决策与认知控制;注意网络 通常又分成 背侧注意网络(DAN)腹侧注意网络(VAN),前者更偏向目标导向、视觉/空间焦点和主动选择,后者更偏向检测意外或行为上显著的刺激并触发 reorienting;而 显著网络(SN) 以前岛叶和背侧前扣带皮层为核心,负责标记值得进一步处理的事件,并帮助在内部导向的 DMN 与外部任务相关的控制/注意网络之间切换。也就是说,大脑不是简单地在“想事情”和“做事情”之间来回跳,而是在多个大尺度网络之间持续做优先级分配与状态重配(20 years of the default mode network, Saliency, switching, attention and control: a network model of insula function, The Reorienting System of the Human Brain, Dorsal and Ventral Attention Systems: Distinct Neural Circuits but Collaborative Roles

这一层复杂性在今天的主流大模型中并没有被显式建模。Transformer 可以在不同 token、不同 layer、不同 heads 上出现功能分化,但这种分化主要来自训练结果,而不是像 DMN/SN/CEN 那样被作为一个独立的、内生的、持续运行的网络调度系统写进架构本身。换句话说,当前大模型很擅长被外部 prompt、loss 和任务定义“驱动”,但并不天然包含一个与大脑静息态、内部叙事流和状态切换相对应的显式机制。(Attention Is All You Need, 20 years of the default mode network

除了网络调度,大脑还有另一种主流但常被 AI 类比忽略的复杂性来源:神经调质。多巴胺、去甲肾上腺素、血清素、乙酰胆碱等上行调制系统并不只是单个突触点对点传信,它们还通过 volume transmission 和状态依赖性调控改变神经元兴奋性、突触传递、可塑性和整网响应方式。乙酰胆碱被广泛视为“改变网络状态”的典型 neuromodulator;多巴胺和血清素则与强化学习、奖励、情绪和行为调节密切相关。(Mechanisms of neuromodulatory volume transmission, Acetylcholine as a neuromodulator, Dopamine and serotonin differentially associated with reward learning in depression, Neuromodulatory control of complex adaptive dynamics in the brain

在工程上,最接近这种“全局状态调制”的不是 attention,而是 FiLM 这一类 feature-wise affine modulation:它用条件输入生成一组 () 和 (),对整张特征图或整段表征进行缩放与平移。FiLM 当然不是神经递质的生物实现,但它确实提供了一个很清楚的工程类比:用少量条件参数去重写整层特征的工作点。(FiLM: Visual Reasoning with a General Conditioning Layer

群体编码、特征叠加与稀疏可解释性

神经科学中关于“概念如何被表示”的主流答案并不是“一个概念对应一个祖母细胞”,而是信息由神经元群体共同编码。经典 population coding 文献强调,群体码不仅能表示刺激本身,还能表示不确定性;后续 probabilistic population code 进一步把神经元群体活动与概率分布、Bayes 推理和 Fisher information 等量联系起来。也就是说,在脑里,表征从来就不是“单神经元标签表”,而更像一个高维、相关、带噪声但可计算的分布式向量系统。(Information Processing with Population Codes, Population Codes: Theoretic Aspects, Probabilistic population codes and the exponential family of distributions, The structures and functions of correlations in neural population codes

大模型内部表征的研究,最近几年恰好在另一条路线上重新碰到了这个问题。Toy Models of Superposition 把 polysemanticity 形式化为“模型需要表示的特征数多于可用神经元数,于是特征被压缩进激活空间的多个方向中”;Sparse Autoencoder 则试图从这种 superposed activation 中恢复出更稀疏、更可解释的 feature basis。到 2024–2025 年,围绕 SAE 的研究已经形成一条独立方法线,并且开始讨论不同模型之间 feature space 的共性问题。(Toy Models of Superposition, Sparse Autoencoders Find Highly Interpretable Features in Language Models, Sparse Autoencoders Reveal Universal Feature Spaces Across Large Language Models, A Survey on Sparse Autoencoders

这一组研究的重要性不在于它已经“证明了 LLM 就是在用生物式群体编码”,而在于它把一个过去只能直觉描述的问题,变成了可以在数学和实验上追踪的问题:概念是否主要存在于单个单元中,还是存在于一个更高维、更分布式、更稀疏的方向集合中。从这个意义上说,大模型内部的 superposition / sparsity / SAE 研究,确实开始给“群体编码”提供了一个在人工网络中的对应坐标。(Toy Models of Superposition, Sparse Autoencoders Find Highly Interpretable Features in Language Models, The structures and functions of correlations in neural population codes

总的来说,“复杂性”这一章真正要指出的,不是生物脑比大模型“更神秘”,也不是大模型比生物脑“更笨拙”,而是两者把复杂性押注在了完全不同的地方:今天的大模型主要依赖统一结构 + 巨量数据 + 统计优化,而生物脑则把复杂性铺开到了概率表征、能量约束、异质拓扑、神经调质和群体编码这些互相缠绕的层级上。也正因为如此,后面谈记忆、时间、抽象思维与具身智能时,问题就不再只是“模型够不够大”,而是“它是否真的长出了这些复杂性所要求的组织形式”。(A Tutorial on Energy-Based Learning, A Path Towards Autonomous Machine Intelligence, 20 years of the default mode network, Toy Models of Superposition

记忆与时间

如果说前一章讨论的是“复杂性被放在了哪里”,那么这一章讨论的就是:智能到底如何跨越时间而存在。当前大模型最强的能力,仍然高度依赖一次性灌入的上下文窗口;它们当然可以在单轮对话里表现得像“记住了很多东西”,但这种“记忆”往往只是参数中的静态统计、上下文中的暂存片段,以及外部检索的临时拼接。而在脑与认知科学里,记忆从来不是一个东西:语义记忆、情景记忆、工作记忆、巩固、回放、遗忘,本来就是不同时间尺度上的不同机制。更重要的是,近年的研究也越来越强调,语义记忆与情景记忆并不是两套彼此绝缘的系统,而是共享机制、互相塑造、共同建构的过程(Constructing Memories, Episodic and Semantic, Hippocampal contributions to semantic memory retrieval, Semantic Memory and the Hippocampus)。

从构造过程看,记忆与想象并不是彼此完全独立的两个盒子。关于 episodic future thinking 的主流观点恰恰相反:人类对未来情景的“脑补”,很大程度上依赖从过去经历里提取细节,再把这些碎片重新组合成一个尚未发生的场景。也就是说,记忆偏向把过去重新取回并重建,想象偏向把过去的材料重组成可能的未来;两者共享底层资源,但功能方向并不相同。按这个尺度看,当前模型恰好呈现出一种不对称:随着参数记忆、外部知识库和长期检索系统快速增强,模型在“记住”和“找回”上越来越强;但在对未见世界做反事实模拟、构造稳定未来情景、形成可行动世界想象这件事上,仍然明显弱于它们的检索与复述能力(The Future of Memory: Remembering, Imagining, and the Brain, Contributions of Episodic Memory to Imagining the Future, On the constructive episodic simulation of past and future events, A Path Towards Autonomous Machine Intelligence)。

语义记忆

经典的大模型做法,是把大量“常识”直接压进参数里。这样做的好处是推理时调用方便,坏处也同样明显:知识更新昂贵、可追溯性差、持续学习时容易干扰旧能力。在持续学习与持续微调的研究里,这一点已经被反复观察到:预训练模型一旦不断向新任务、新领域或新偏好迁移,就很容易出现灾难性遗忘;而且对 LLM 来说,这种遗忘不只表现为“少会一个任务”,还会表现为领域知识、推理能力和读写能力的整体波动(Continual Learning of Large Language Models: A Comprehensive Survey, Continual Learning for Large Language Models: A Survey, An Empirical Study of Catastrophic Forgetting in Large Language Models During Continual Fine-tuning)。

这也是为什么近年的架构开始重新讨论“把知识从计算中剥离出来”。DeepSeek 的 Engram 就是这一方向最激进的例子之一。它把条件记忆(conditional memory)明确写成一条与 MoE 平行的稀疏轴,不再要求 Transformer 用统一计算去“顺便模拟检索”,而是把一部分静态知识直接交给可扩展 lookup 模块处理。Engram 论文的核心表述非常直接:它提供的是一个 O(1) lookup 的记忆原语,并且通过 deterministic IDs 支持 runtime prefetching,把大规模静态记忆从 GPU 内部计算图中抽离出来;作者还报告,Engram 不仅提升知识类 benchmark,也会提升推理、代码与长上下文检索表现,并在机制分析中指出它“减轻了主干早期层的静态重构负担”,从而把更多注意力容量释放给全局上下文和复杂推理(Conditional Memory via Scalable Lookup, DeepSeek Engram GitHub)。

从认知科学角度看,这种思路有一个非常重要的含义:语义记忆不必全部被塞进“思考本身”里。大脑当然也依赖长期训练过的连接权重,但它并不是靠同一种机制同时承担“知识存储、在线检索、上下文更新和推理控制”。把显性知识从参数里部分剥离出来,不等于让模型“更像人脑”;它更像是在承认一个事实:如果目标是长期运行、可更新、可审计的智能系统,那么“知识库”和“推理图”不应该再被粗暴地绑死在一起(Conditional Memory via Scalable Lookup, A Path Towards Autonomous Machine Intelligence)。

这里还必须把 Attention 的角色说清楚。注意力并不等于记忆本身,但它非常像记忆系统之间的动态寻址机制:在 Transformer 中,attention 负责从上下文中选择要读出的信息;在认知科学中,工作记忆与注意被广泛认为高度耦合,很多研究甚至把工作记忆理解为“被当前目标选中的、可被操作的信息状态”。也就是说,注意力更像是“读什么、先读什么、保持什么”的控制问题,而不是“知识存在哪里”的问题(Attention Is All You Need, Working Memory and Attention – A Conceptual Analysis and Review, Focusing attention in working and long-term memory)。

情景记忆

如果说语义记忆更像“稳定知识”,那么情景记忆最关键的特征就不是内容,而是事件与时间的绑定。经典定义里,episodic memory 对应的是带有“何时、何地、在什么情境下发生”的记忆,也就是所谓的 mental time travel;但近年来的研究也越来越强调,情景记忆并不是一个纯粹封闭的盒子,它会和语义结构互相渗透,事件中的知觉、情绪、语义和关系线索都会被整合进同一个可重建的痕迹里(Distinct mechanisms and functions of episodic memory, How the New Interacts With the Old? Hippocampal Processing of Event Similarity and Difference, Constructing Memories, Episodic and Semantic)。

这也是为什么“长期运行的 agent”不能只靠权重和上下文。对一个真正会持续工作的系统来说,最重要的不只是“知道什么”,而是“知道这件事是什么时候、在哪个任务链条中、以什么证据形式出现过”。OpenClaw 的记忆系统很适合拿来作为这种“数字海马体”的工程类比:它不是把记忆藏在黑箱参数里,而是把 Markdown 文件作为可审查、可编辑、可版本化的 source of truth;模型真正“记住”的前提,不是它内部产生了某种神秘 latent state,而是相应内容被写入 MEMORY.mdmemory/YYYY-MM-DD.md 之类的持久化文件,然后由派生索引负责检索(OpenClaw Memory, OpenClaw 工作区记忆研究)。

更关键的是,OpenClaw 明确把“时间”写进了检索生态里。官方文档里,memory search 采用 hybrid search(BM25 + vector),并把 vectorWeighttextWeight 作为可调参数;中文版文档给出的示例配置就是 vectorWeight: 0.7textWeight: 0.3。这背后的直觉很简单:纯向量检索擅长语义相似,纯关键词检索擅长命中精确 token、ID、符号和版本号,而真正的长期记忆检索通常同时需要这两者(OpenClaw Memory, OpenClaw 中文记忆文档)。

OpenClaw 的文档同时还把 MMR re-ranking 和 temporal decay 放进了 post-processing pipeline。前者用来减少检索结果之间的冗余,避免一段长会话或一类高度相似的片段“刷屏”;后者则给更近的记录更高权重,文档中明确写成一个按年龄指数衰减的 recency boost。换句话说,它不是在追求“把所有过去都等价保存”,而是在显式地承认:长期记忆如果没有时间结构,就会退化成垃圾堆(OpenClaw Memory, openclaw/docs/concepts/memory.md)。

时间

在工程语境里,“遗忘”常被默认视为 bug;但在生物记忆里,遗忘并不只是损失,它也是筛选、压缩、抽象和重组的一部分。记忆研究里一个越来越稳的事实是:休息和睡眠并不是学习的空窗期,而是学习的第二现场。神经回放(replay)会在休息和睡眠期间重激活与过去事件相关的神经活动模式,并通过 hippocampus 与 neocortex 的相互作用支持长期巩固;近年的综述甚至明确把 replay 与“潜在未来情景的探索”联系起来,也就是说,回放并不仅仅面向过去,它也参与面向未来的构造(Replay and Ripples in Humans, Sleep—A brain-state serving systems memory consolidation, Sleep’s contribution to memory formation)。

这与今天大模型的问题刚好形成鲜明对照。主流 LLM 的训练方式,仍然主要是“先大规模离线训练,再局部继续训练或微调”,而不是像生物系统那样持续经历编码—筛选—离线回放—整合—再编码的循环。于是它们很擅长在静态语料中提炼统计模式,却不擅长在长期运行中处理“旧知识如何保留、新经验如何吸收、过时信息如何衰减”这种真正属于时间的问题。持续学习方向的综述与实证研究已经把这一点说得非常清楚:灾难性遗忘并不是边角问题,而是 LLM 一旦离开一次性训练假设就会立刻暴露出来的主问题(Continual Learning of Large Language Models: A Comprehensive Survey, Continual Learning for Large Language Models: A Survey, An Empirical Study of Catastrophic Forgetting in Large Language Models During Continual Fine-tuning)。

有意思的是,AI 社区已经开始直接从“睡眠/回放”这个方向借机制。2022 年的工作表明,sleep-like unsupervised replay 可以降低神经网络中的灾难性遗忘;更早的建模工作也提出,睡眠过程能够通过新旧记忆痕迹的重放与再巩固,减少连续学习中的相互干扰。这些工作当然还远不能说“把睡眠搬进了 AI”,但它们至少说明:如果智能系统要跨越时间持续演化,那么“只会更新权重,不会离线整理记忆”会是一个越来越致命的缺陷(Sleep-like unsupervised replay reduces catastrophic forgetting in artificial neural networks, Can sleep protect memories from catastrophic forgetting?)。

所以,从 ASI 而不是一次性答题器的角度看,真正值得追求的并不是“永不遗忘”,而是可重塑的活态知识库。这意味着系统必须至少同时具备四个能力:能够把新经验写入时间结构;能够把旧知识从参数中剥离为可编辑对象;能够通过回放或反思进行离线压缩;能够根据时间、置信度和任务需求主动遗忘与更新。没有这些机制,所谓长记忆最终只会变成“无限扩张的上下文”或“越来越脏的 RAG”,而不是跨时间生长的智能(OpenClaw 工作区记忆研究, Replay and Ripples in Humans, Continual Learning of Large Language Models: A Comprehensive Survey)。

工作记忆

和语义记忆、情景记忆不同,工作记忆不是一个长期仓库,而是一种可被当前目标短时间维持、操作和更新的活动状态。在认知科学里,工作记忆与注意之间存在高度重叠:很多理论都把工作记忆理解为“被选中的、当前可操作的信息”,而不是某个独立的小抽屉。因此,严格说来,工作记忆更接近一个在线控制与选择过程,而不是一个稳定数据库(Working Memory and Attention – A Conceptual Analysis and Review, Attention Control and Working Memory, Varying Definitions and Measurements, How the brain shifts between external and internal attention)。

主流 LLM 的“工作记忆”目前主要由两样东西勉强承担:一个是上下文窗口本身,一个是推理时不断累积的 KV cache。这套机制的优点是简单、通用,缺点同样鲜明:它本质上仍然是在“保留过去的表示并反复读取”,而不是在推理过程中形成真正可塑、可压缩、可更新的短时状态。更实际的问题是,随着上下文增长,KV cache 会线性膨胀,迅速成为长上下文推理的内存和带宽瓶颈;2025 年围绕 KV cache compression 的一系列工作,本质上都说明了这一点——今天的长上下文,很多时候不是“模型不会想”,而是“记忆介质太笨重”(Assessing KV Cache Compression On Reasoning, Optimizing Key-Value Cache Compression in Long-context Generation, RocketKV)。

TTT(Test-Time Training)有意思的地方就在这里。它不再把 hidden state 理解为一个固定大小的向量缓存,而是直接把 hidden state 做成一个机器学习模型本身,并把更新规则写成一步 self-supervised learning。原始论文里,作者提出了 TTT-Linear 和 TTT-MLP 两个实例:前者把 hidden state 设为线性模型,后者把它设为两层 MLP;两者都在测试序列上继续更新自己的状态,因此被称为 Test-Time Training。也就是说,TTT 的核心不是“存得更多”,而是“在读入新 token 时,短时状态本身会学习”(Learning to (Learn at Test Time): RNNs with Expressive Hidden States, ICML 2025 Proceedings: RNNs with Expressive Hidden States, TTT 官方实现)。

这让 TTT 比传统 KV cache 更接近“瞬时可塑性”的概念。它当然还不是生物突触,也不是完整的工作记忆理论,但它至少把一个重要方向重新打开了:工作记忆不一定只是缓存,也可以是推理期间持续变化的学习状态。原论文的结果也正是沿这个方向展开的:TTT-Linear 与 TTT-MLP 在 125M 到 1.3B 参数范围内与强 Transformer 和 Mamba 比较,在长上下文上持续降低 perplexity,而 TTT-MLP 虽然仍面临 memory I/O 挑战,但在长上下文上表现出更大潜力(Learning to (Learn at Test Time): RNNs with Expressive Hidden States, ICML 2025 Proceedings: RNNs with Expressive Hidden States)。

如果把这一章和前一章合起来看,一个越来越清楚的结论是:今天的大模型真正缺的,并不是“记住更多 token”,而是把记忆拆成不同时间尺度、不同物理介质、不同更新规则的能力。语义记忆应该能被剥离、索引和更新;情景记忆应该有时间锚点和证据链;长期系统需要会遗忘、会回放、会反思;工作记忆则不应只是静态 cache,而应逐步走向在线可塑的状态。如果这些层次始终被粗暴地压缩为“参数 + 上下文窗口”两件事,那么模型可以非常大,却依然很难真正跨越时间而存在。

认知与抽象思维

如果说前两章讨论的是“智能由什么结构承载”和“它如何跨越时间保留经验”,那么这一章真正要问的就是:系统到底怎样把经验变成推理,把统计规律变成抽象能力。当前主流 LLM 的核心训练目标,仍然是自回归的 next-token prediction;这让它们在语言压缩、模式归纳和上下文适应上异常强大,但也决定了它们最自然的能力形态,首先是一种高速的统计直觉系统,而不是一个原生就会显式建模世界、进行反事实推演和分层规划的认知架构(Language Models are Few-Shot Learners, A Path Towards Autonomous Machine Intelligence, Predictive coding under the free-energy principle)。

如果把上一章的结论再往前推一步,那么可以把今天大模型的局限概括成一句更尖锐的话:它们的“记忆器官”正在快速外扩,但“想象器官”还没有真正长出来。语言模型已经越来越擅长调用参数记忆、上下文记忆和外部检索记忆,但对尚未发生之事的可执行模拟——例如稳定的反事实推演、可滚动的未来情景构造和跨环境保持一致的世界模型——仍然高度依赖提示工程、搜索和额外规划模块,而不是像人类的 episodic future thinking 那样,天然地从记忆碎片重组出可用于行动的想象(The Future of Memory: Remembering, Imagining, and the Brain, Episodic future thinking: mechanisms and functions, A Path Towards Autonomous Machine Intelligence, Reasoning with Language Model is Planning with World Model)。

双系统理论的工程化映射

把大模型映射到 System 1 / System 2 是一个很有解释力的类比,但它首先必须被写成类比,而不是神经科学上的硬对应。认知科学中的双系统理论,通常把快速、自动、联想式的加工称为 Type 1,把缓慢、反思、受控制的加工称为 Type 2;但近年的综述也反复强调,这一框架本身正在被修正,许多任务并不是由两个完全独立的系统完成,而更像是多种“快速/慢速、自动/控制、启发式/审议式”特征的连续混合(Dual Process Theory: Embodied and Predictive, A New Perspective on Dual-System Theories in Decision Making, Dual-Process Theory of Thought and Inhibitory Control)。

在这个前提下,预训练最像 System 1 的地方,不是“它像人脑”,而是它确实会通过大规模统计压缩形成一种高速、廉价、默认启发式:GPT-3 证明了,仅靠大规模自回归预训练,模型就可以在没有梯度更新的 few-shot 场景里表现出强任务泛化与上下文适应能力;这是一种非常典型的“先压缩成直觉,再在使用时调用”的能力形态(Language Models are Few-Shot Learners)。而 SFT / instruction tuning 更像是在这套直觉系统外面加上一层“接口重写”:FLAN 证明,基于指令的数据继续监督微调,能够显著提升模型在未见任务上的 zero-shot 表现;InstructGPT 则把流程写得更清楚:先做监督微调,再训练 reward model,再用 RLHF 优化,使模型输出更接近用户意图而不只是更接近语料统计(Finetuned Language Models Are Zero-Shot Learners, Training language models to follow instructions with human feedback)。

但如果把 RL 直接写成“真正激活了 System 2”,就会过于简化。更准确的说法是:强化学习、偏好优化、过程监督和推理期搜索,把模型往“慢思考、试错、评估、规划”的一侧推了一步,但真正更接近 Type 2 的,往往不是 RL 这三个字本身,而是RL 与显式规划、内部思考痕迹、树搜索或价值评估结合之后的系统。比如 RAP 明确把 LLM 同时当成 agent 和 world model,并结合 Monte Carlo Tree Search 在 reasoning space 中搜索高回报路径;Quiet-STaR 则试图让模型在预测未来 token 之前先生成可被自身利用的“安静思考”,把显式中间推理从问答场景扩展到一般文本预测(Reasoning with Language Model is Planning with World Model, Quiet-STaR: Language Models Can Teach Themselves to Think Before Speaking, Training language models to follow instructions with human feedback)。

学习法则的深层隔阂

现代深度学习的主导学习法则,仍然是梯度下降 + 反向传播。从 Rumelhart、Hinton、Williams 1986 的经典论文开始,这条路线的基本假设就是:系统拥有一个全局可微目标,前向计算得到输出,后向传播误差,再逐层调整权重。它之所以强大,恰恰因为它允许一个整体损失函数直接塑造深层表征;但它之所以常被认为“非生物学”,也同样是因为这套学习过程依赖全局误差信号、跨层 credit assignment、同步式 forward/backward phase,以及某种形式的 feedback 权重匹配或等价机制(Learning representations by back-propagating errors, Learning Internal Representations by Error Propagation)。

与之相对,神经科学里最经典的局部学习语言,仍然是 Hebbian learning:一起激发的神经元,连接会被加强。它的关键不在于“有没有目标函数”,而在于学习规则是否能主要由局部活动相关性决定。近年的理论工作仍然在从统计物理和最大熵框架中重新推导 Hebbian 规则,说明这条线远远没有过时;在机器学习中,Hebbian 及其变体也不断被重新拿出来,尝试解释稀疏表征、在线自组织和局部可塑性(Hebbian Learning from First Principles, Learning Sparse, Distributed Representations using the Hebbian Principle)。

真正值得注意的是,今天的讨论已经不再是“要么 backprop,要么 Hebb”这种二分。一个越来越主流的桥接观点是:预测编码网络可以在局部更新规则下逼近 backprop 的结果。Millidge 等人的工作表明,predictive coding 不只是一种脑科学叙事,它在计算图上可以渐近逼近 backprop 梯度,而且主要依赖局部、近似 Hebbian 的更新;这意味着“全局优化”与“局部可塑性”之间,并不是不可逾越的鸿沟,而更像是两种不同实现层次上的同一优化逻辑(Predictive Coding Approximates Backprop along Arbitrary Computation Graphs, Predictive Coding: a Theoretical and Experimental Review)。

认知的方向:预测机 vs 拼接怪

把今天的 LLM 简单骂成“拼接怪”,在修辞上很痛快,但在技术上并不够准确。就训练目标而言,主流自回归模型优化的确是局部条件分布 (p(x_t x_{<t})),它并不显式要求模型建立稳定的潜在世界状态、行动后果模拟器或因果图;从这个角度说,next-token prediction 的确更接近一种从下文统计中逼近未来符号的机制,而不是一个先天具备显式世界模型的系统(Language Models are Few-Shot Learners, A Path Towards Autonomous Machine Intelligence)。

但反过来,把 next-token prediction 说成“只会字面拼接”同样不准确。GPT-3 之后的大量结果已经表明,大规模语言预测会带来 few-shot generalization、上下文学习和跨任务迁移;更近的研究甚至直接指出,human-like conceptual representations can emerge from language prediction,也就是仅靠语言预测,模型内部也能出现相当稳定、可与人类行为判断和脑活动模式对齐的概念组织结构。这说明 next-token objective 虽然不是显式世界建模目标,但它依然足以迫使系统形成一部分抽象表征(Language Models are Few-Shot Learners, Human-like conceptual representations emerge from language prediction)。

真正的问题不在于它“有没有抽象”,而在于它的抽象是否被组织成可持续预测、可反事实推演、可跨模态/跨行动更新的世界模型。预测编码路线给出的答案是:大脑更像一个层级生成模型,它从高层向低层发出预测,只把无法解释的预测误差向上传递;Friston 的 free-energy / predictive coding 进一步把 perception、action、learning 放到同一个解释框架里。近二十年里,predictive coding 已经成为神经科学中最有影响力的统一叙事之一,虽然其具体微回路实现与实证覆盖面仍在争论中,但“自上而下生成预测,自下而上传递误差”已经构成了一条非常清晰的认知方向(Predictive coding under the free-energy principle, The free-energy principle: a unified brain theory?, Predictive Coding: a Theoretical and Experimental Review)。

而在 AI 里,与这条路线最接近的主流工程方向,正是 world model + planning。LeCun 的 AMI 路线明确把 world model 写成自主智能体的核心模块;RAP 则把 world model 直接接到 LLM reasoning 上,把“推理”改写成“在世界状态空间中做规划”;连 Quiet-STaR 这种仍然基于 next-token 的方法,也开始尝试让模型在预测未来文本时先生成内部 rationale。也就是说,当下主流 AI 社区其实已经在承认一个事实:光有下一个 token 的条件分布,还不足以支撑更稳的抽象思维,系统需要某种显式或半显式的预测层A Path Towards Autonomous Machine Intelligence, Reasoning with Language Model is Planning with World Model, Quiet-STaR: Language Models Can Teach Themselves to Think Before Speaking)。

元学习与抽象思维

如果说预测编码和世界模型回答的是“系统该如何表示世界”,那么元学习回答的就是“系统该如何学会学习”。MAML 给出的经典定义是:在一组任务上训练一个初始化,使模型能用极少梯度步数适应新任务;它并不直接存某个具体技能,而是把“快速适应的能力”本身变成优化对象。这条路线后来几乎成为“元学习”在机器学习中的标准起点(Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks)。与此同时,在 NLP 中,T5 则把预训练—微调式迁移学习系统化地写成 text-to-text 统一框架,并证明大规模预训练后再面向下游任务转移,已经可以形成一种非常强的通用迁移范式(Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer)。

有意思的是,大模型的 in-context learning 让元学习问题重新出现了一次:模型在不更新参数的前提下,仅靠上下文示例就能表现出新任务适应能力。围绕这一现象,已经出现了一条很强的主流解释路线——把 ICL 理解为隐式元学习或隐式优化。Akyürek 等人证明,Transformer 可以在前向传播中实现类梯度下降或 ridge regression 的学习算法;Dai 等人则直接把 GPT 式 ICL 解释为 meta-optimizer,在理论与实验上比较它与显式微调的相似性;von Oswald 等人的结论更直接:Transformers can learn in-context by gradient descent。这些工作并不意味着“LLM 真的在内部跑了标准 SGD”,但它们至少说明,固定权重的前向传播可以实现某种算法级别的快速适应What learning algorithm is in-context learning?, Why Can GPT Learn In-Context? Language Models Implicitly Perform Gradient Descent as Meta-Optimizers, Transformers learn in-context by gradient descent)。

但抽象思维并不等于“会在上下文里适应一下”。真正强的抽象,通常要求系统能够在不同任务之间复用更高层、更慢变量、更稳定的预测结构。这正是世界模型路线反复强调的东西:抽象层不应该只是压缩输入,而应该成为可用于预测未来、比较方案、迁移策略的公共表示空间。Quiet-STaR 之所以重要,不只是因为它能提高 benchmark,而是因为它把“思考”重新写成了对未来文本的内部解释;RAP 之所以重要,也不只是因为它能搜树,而是因为它把推理轨迹提升成了显式的状态—行动—回报过程。沿着这条线继续走,迁移学习的上限就不再只是“把旧任务技巧挪到新任务”,而是把抽象预测层迁移到新的环境和目标中去Quiet-STaR: Language Models Can Teach Themselves to Think Before Speaking, Reasoning with Language Model is Planning with World Model, A Path Towards Autonomous Machine Intelligence)。

归根结底,这一章最想指出的不是“LLM 没有思维”,而是:当前主流 LLM 的思维形态,主要仍然是一种由大规模语言预测压缩出来的高速统计直觉;它可以涌现抽象、可以学会适应、甚至可以在上下文中模拟优化,但它并不天然等价于一个拥有显式世界模型、分层预测误差、离线反思和反事实规划的认知系统。 从这个意义上说,预训练、SFT、RL、ICL、world model 和元学习,代表的并不是同一条路线上的细节修补,而是在争夺“下一代 AI 的思维核心到底该是什么”这个问题的不同答案(Language Models are Few-Shot Learners, Predictive Coding: a Theoretical and Experimental Review, A Path Towards Autonomous Machine Intelligence, What learning algorithm is in-context learning?)。

群体智能,具身智能,与因果关系

如果说前面几章讨论的是“一个智能系统内部如何组织复杂性、记忆与思维”,那么这一章要处理的,就是另一个更难的问题:智能何时不再只是单体网络内部的统计现象,而开始变成一个分布式、具身化、带因果后果的系统过程。一旦模型拥有持久记忆、工具调用、消息通道、外部文件系统、长期目标和真实执行权限,问题就不再只是“它会不会答错题”,而变成“它会不会在社会系统中放大错误、在物理世界中产生后果,以及它能否真正把符号压到现实上”。这也是为什么从单体 LLM 走向多智能体,再走向 embodied AI,不只是能力扩展,更是问题定义本身的变化(Agents of Chaos, Aligning Cyber Space with Physical World: A Comprehensive Survey on Embodied AI, A Comprehensive Survey on World Models for Embodied AI)。

白盒模拟的迷思:苍蝇脑的残酷启示

过去几年里,果蝇 connectome 一直被当作一个带有象征意义的里程碑。到 2024 年,FlyWire 联盟已经公布了成体雌性果蝇完整脑连接图,规模大约是 139,255 个神经元超过 5,000 万个突触连接;Nature 同期的一组论文还进一步分析了其网络统计、rich-club 结构、神经递质组成和细胞类型注释。这意味着,人类第一次真正拥有了一个成体脑级别、全脑尺度、细到单神经元和突触的完整 wiring diagram(Whole-brain annotation and multi-connectome cell typing of the FlyWire female adult fruit fly brain, Network statistics of the whole-brain connectome of Drosophila, Complete wiring map of an adult fruit fly brain)。

但“拿到 connectome”并不等于“得到了一个活体脑的完整可执行副本”。这一点在 2026 年变得更值得玩味:一方面,已经有工作把完整果蝇脑 connectome 的静态结构转写成一个有向 message-passing graph,并与生物力学果蝇身体模型结合,做成了可用于 whole-body locomotion control 的 FlyGM;作者报告该模型在多种运动控制任务中表现稳定,并优于 degree-preserving rewired graph、random graph 和 MLP baselines。也就是说,静态 connectome 不是没用,它已经足以成为一个有效 policy scaffoldWhole-Brain Connectomic Graph Model Enables Whole-Body Locomotion Control in Fruit Fly)。

但另一方面,这恰恰说明了问题所在:FlyGM 的成功,不是“我们已经把活苍蝇装进电脑里了”,而是“我们把完整连接图转译成了一种适用于控制任务的图网络控制器”。这中间仍然做了大规模抽象:连续电生理动力学、神经调质、发育历史、代谢状态、体液信号、微观可塑性、以及真实生物体里随时间变化的多种慢变量,都没有以原样进入这个模型。更关键的是,2024 年的 connectome 系列论文本身就在不断提醒人们:即便是同一张静态 wiring diagram,若不结合神经递质、细胞类型、功能亚群和网络地位,单纯的“谁连到谁”也不足以回答系统如何运作(Network statistics of the whole-brain connectome of Drosophila, Whole-brain annotation and multi-connectome cell typing of the FlyWire female adult fruit fly brain, The fly’s neural blueprint)。

所以,果蝇 connectome 给 AI 的真正启示并不是“只要连线足够完整,意识和智能自然就会掉出来”,而是更朴素也更残酷的事实:静态拓扑是必要骨架,但不是全部生命过程。如果只复制拓扑,我们更可能得到的是“一个高度结构化的可训练控制图”,而不是一个自动携带生化调控、内稳态、发育轨迹与长期自我维护机制的完整脑(Whole-Brain Connectomic Graph Model Enables Whole-Body Locomotion Control in Fruit Fly, Whole-brain annotation and multi-connectome cell typing of the FlyWire female adult fruit fly brain)。

多智能体的混沌与秩序

单体模型的一个天然局限,是它再强也只是一个“点”。而很多更高阶的智能现象,本来就产生于多个专门化过程之间的互动、竞争、协商与广播。在 AI 里,这一层最早是以社会模拟和 agent architecture 的形式浮现出来的。Generative Agents 这篇工作非常经典:它让 25 个带有观察、记忆、反思和规划能力的语言代理在一个沙盒小镇里持续运行,结果出现了较可信的个体行为和社会性涌现,例如从一个“想办情人节派对”的设定,逐步传播出邀请、约会和到场协调等链式行为。这里的关键不是单个 agent 多聪明,而是多个有记忆和计划的体在共享环境里会产生新的系统级行为Generative Agents: Interactive Simulacra of Human Behavior)。

但多智能体的另一面,是错误会被成倍放大。2026 年的 Agents of Chaos 把这一点做成了一个非常具体的 red-teaming 实验:研究者把自主 agent 放进带有持久记忆、邮件账户、Discord 访问、文件系统和 shell 执行权限的 live laboratory environment,并在两周内让 20 位研究者在 benign 与 adversarial 条件下与它们交互。论文记录了 11 个代表性案例,包括 unauthorized compliance with non-owners、敏感信息泄露、destructive system-level actions、拒绝服务、资源失控、身份伪造、unsafe practices 的跨 agent 传播,以及局部系统 takeover 等。这里最关键的不是哪一种 bug,而是autonomy + tools + communication + memory 叠加之后,失败从“局部输出错误”变成了“系统级后果”(Agents of Chaos, Agents of Chaos Project Page)。

Agents of Chaos 官方页面还特别强调了一个值得记住的概念:Multi-Agent Amplification。对于单个 agent 来说,也许需要一次社会工程或一次错误授权才能诱发风险;但在多 agent 设置里,这种脆弱性可以自动传播给其他代理,而这些代理又会继承“来自已被污染来源的错误权威”。这和单体模型里的 error propagation 不是一个数量级的问题,它更像是组织行为、信任链和制度漏洞的叠加(Agents of Chaos Project Page)。

如果要从脑科学和认知架构里找一个更积极的类比,那么 Minsky 的 Society of Mind 与 Baars 的 Global Workspace Theory (GWT) 是两条最自然的线索。The Society of Mind 提出的直觉非常接近今天的 agent thinking:智能不必来自一个全知中心,而可以来自大量相对简单的专门化子过程的协作与竞争(The Society of Mind)。而 GWT 则更进一步,把这种分布式结构写成了“竞争—上台—广播”的黑板式架构:多个 specialist 并行运行,谁赢得注意,谁就进入全局工作区,被广播给更多过程调用。Baars 2005 的综述明确写到,GWT 源自认知架构中的 blackboard architecture 传统;2025 年的意识科学综述也继续把这一点写得很清楚(Global workspace theory of consciousness: toward a cognitive neuroscience of human experience?, Consciousness science: where are we, where can we go?)。

因此,在 AI 里,多智能体并不天然等于更高智能,也不天然等于更强安全;它更像是把“内部模块竞争”外显成了“多个半自主系统之间的协作与冲突”。这时候,真正稀缺的不再只是单个模型的 IQ,而是协调机制、广播机制、权限边界、记忆隔离和冲突仲裁。从这个意义上说,GWT 可以是一个非常好的灵感来源,但它仍然只是候选协调框架,而不是现成答案(Global workspace theory of consciousness: toward a cognitive neuroscience of human experience?, Agents of Chaos)。

终极归宿:具身智能

如果把问题继续往前推进,群体智能讨论的还是“很多个系统如何在信息空间中互动”;而具身智能讨论的则是:一个系统如何在现实世界中获得意义、约束和后果。近年来 embodied AI 的综述已经把这一点说得很明确:具身智能的目标不是让模型只在虚拟符号空间里做抽象问题求解,而是让它把 perception、interaction、agent 和 sim-to-real adaptation 整合起来,真正把网络接到身体、环境和任务之上(Aligning Cyber Space with Physical World: A Comprehensive Survey on Embodied AI, Embodied AI: A Survey on the Evolution from Perceptive to Actionable Intelligence)。

这里最经典的问题仍然是 Harnad 1990 提出的 Symbol Grounding Problem:如果一个系统只是把符号和符号互相映射,它的语义如何变成“系统内部固有的意义”,而不是寄生在解释者脑中的意义?Harnad 当年的原话非常明确:问题不在于符号操作能力够不够强,而在于符号是否被底层的非符号表征真正接地(The Symbol Grounding Problem, The Symbol Grounding Problem PDF)。

围绕这个问题,当前其实已经出现了几种不同立场。最强的具身派会认为,没有身体、没有连续感知、没有行动闭环,就不可能完成真正的 grounding;而较新的反方则认为,intelligence requires grounding, but not necessarily embodiment,也就是说,关键是系统能否把符号锚定到某种稳定的世界动力学和经验结构中,而不一定非要拥有人类式躯体(Intelligence Requires Grounding But Not Embodiment, The Symbol Grounding Problem)。

多模态和具身 agent 正好站在这场争论的中间地带。2025 年关于 MLLMs 与 grounding 的论文写得很清楚:现代多模态模型正在尝试通过视觉、动作和环境交互去摆脱纯文本的 grounding deficit;如果它们成功,确实可能成为通向 grounding 的一条路线。但同一篇论文也强调,要真正弥合 symbolic tokens、neural representations 与 embodied experience 之间的鸿沟,仍然需要更深的 developmental integration、连续传感输入、目标导向行为和真实世界适应学习(Will multimodal large language models ever achieve deep understanding and robust symbol grounding?)。

另一个很有意思的结果来自 2025 年 Nature Human Behaviour 的研究:不带 grounding 的 LLM 在非感知—运动语义上与人类更接近,但在感知和运动域上相似性明显下降;而加入视觉学习后,模型在视觉相关维度上的人类相似性会提升。这说明 grounding 不是一个“有或没有”的开关,而更像是不同语义子空间上逐步被补齐的结构。纯文本模型并不等于什么都不懂,但它们对 sensorimotor semantics 的掌握与人类式表征之间确实存在系统性落差(Large language models without grounding recover non-sensorimotor but not sensorimotor semantics from language alone, Will multimodal large language models ever achieve deep understanding and robust symbol grounding?)。

你文里提到的“海鞘幼虫找到岩石后吃掉自己大脑”的隐喻,也可以保留,但最好写得稍微准确一点:在 ascidian/tunicate 的真实发育过程中,游泳幼体在定着和变态后,会发生幼体尾部和幼体神经系统的大规模退化/重吸收,其神经系统会从适应游泳与定向的 larval form,转向适应 sessile adult 的形态。这件事之所以适合当隐喻,不是因为它证明了“脑没用”,而是因为它非常极端地说明:神经系统的形态与复杂度,是和行动方式绑定的The Degenerate Tale of Ascidian Tails, Ascidians as excellent chordate models for studying the nervous system)。

从这个意义上说,具身智能并不是“给 LLM 加个机器人外壳”这么简单。真正困难的地方在于,一旦系统进入真实环境,它就必须同时处理连续时间、部分可观测、物理约束、传感噪声、动作延迟、任务层级和安全边界;也只有在这种闭环里,“policy”才不再只是 token-to-token 的隐喻,而变成真正有代价和后果的行动策略(Aligning Cyber Space with Physical World: A Comprehensive Survey on Embodied AI, A Comprehensive Survey on World Models for Embodied AI)。

尾声:因果涌现与人工限制的博弈

走到这里,问题自然会变成:如果智能最终要进入群体和物理世界,那么它是否必须掌握因果,以及这种因果应该以什么形式进入系统?当前一个很强的主流方向是 Causal Representation Learning (CRL)。这条路线的核心想法是:机器学习擅长从高维数据里自动抽取表示,而因果模型擅长支持干预、迁移、规划和 OOD 泛化;CRL 要做的,就是学习出一组带有因果语义的潜变量,让系统不只会“压缩相关性”,还会“表示机制”。相关综述也反复指出,这条线的吸引力就在于它有望帮助解决 transfer、planning、distribution shift robustness 等老问题,但 identifiability 仍然是根本难点(Identifiable Causal Representation Learning: Unsupervised, Multi-View, and Multi-Environment, A Survey on Causal Generative Modeling, Causal Inference Meets Deep Learning)。

与此同时,另一条越来越强的路线并不是先把因果图显式写出来,而是让系统先学出一个足够好的 world model,再在其中进行 forward rollout 和 counterfactual rollout。2025 年关于 embodied world models 的综述已经把这一点定义得很清楚:world model 是一种 internal simulator,它通过建模环境动力学来支持 perception、prediction、decision making 和 counterfactual reasoning。也就是说,工程界正在用“可滚动的世界模型”去逼近“可推演的因果结构”,而不是一定先把结构因果模型显式写出来(A Comprehensive Survey on World Models for Embodied AI, Embodied World Models for Decision Making)。

再往另一边看,近两年的 mechanistic interpretability 研究则在回答另一个问题:即便系统已经学出了某种复杂内部因果,我们能否把它拆解出来、局部干预它、甚至用它来做 alignment 与 control?2025–2026 的几篇综述已经把这条线描述为从“观察性解释”走向“可行动解释”:不仅要 locate 神经元、attention head、SAE features 或 circuit,还要 steer 它们,并把这些干预反馈到 alignment、reasoning、knowledge editing 和 efficiency 上。换句话说,interpretability 不再只是“人类看懂一点”,而是在尝试变成一种系统级 engineering interface(A Practical Survey of Actionable Mechanistic Interpretability in Large Language Models, Mechanistic Interpretability for Large Language Model Alignment: Progress, Challenges, and Future Directions, A Survey on Sparse Autoencoders: Interpreting the Internal Mechanisms of Language Models)。

这就把争论真正推到了最尖锐的地方:解释性、显式因果建模与端到端具身学习之间,可能存在长期张力。显式因果模型和解释工具的优势,是更强的 auditability、可控性、可干预性和制度兼容性;而端到端具身试错的优势,则是它更可能直接吸收连续、高维、非线性的环境动力学,而不必先把世界压缩成人类预设的变量表。前者更像“把世界整理成可管理的对象”,后者更像“让系统自己在闭环中长出有效结构”;当前文献并没有给出谁一定会赢的定论,但已经非常清楚地表明,这不是一个纯哲学问题,而是下一代 AI 架构设计里的核心分歧之一(A Survey on Causal Generative Modeling, A Comprehensive Survey on World Models for Embodied AI, A Practical Survey of Actionable Mechanistic Interpretability in Large Language Models)。

因此,这一章真正的落点并不是“多智能体一定更高级”或“具身化一定更像人”,而是:一旦 AI 进入社会系统、获得身体、开始面对真实后果,它就不能再被理解为一个只会做下一个 token 预测的静态网络。 它必须同时处理组织结构、权限传播、感知—行动闭环、符号接地、反事实推演和可干预性;而这也意味着,真正的下一阶段智能,不会只是一台更大的语言机器,而更像一个同时生活在信息网络、物理环境和制度约束中的复杂系统(Agents of Chaos, Aligning Cyber Space with Physical World: A Comprehensive Survey on Embodied AI, The Symbol Grounding Problem, A Comprehensive Survey on World Models for Embodied AI)。

评论

:D 一言句子获取中...

加载中,最新评论有1分钟缓存...