PsyBrain 脑心前沿 / 记忆与学习：顶刊文献解读专题 / A · 文献解读 / A035 · 北师大最新Neuron：人脑如何从稀疏经验中高效学习？海

A035 北师大最新Neuron：人脑如何从稀疏经验中高效学习？海马尖波涟漪揭示关键机制

来源：公众号 PSY-Brain_Frontier ｜发布：2026-04-13 ｜原文链接

认知神经科学前沿文献分享

基本信息

Title: Human hippocampal ripples prioritize model-based learning

发表时间: 2026-4-9

发表期刊: Neuron

影响因子: 15.0

获取原文:

添加小助手: PSY-Brain-Frontier 即可获取PDF版本
点击页面底部“阅读原文”跳转论文网页

研究背景

人类大脑有一种惊人的能力：能从极其稀疏的经验中高效学习。想象你偶然在一条偏僻的山谷里发现了一座金矿，你不仅会记住刚刚走过的那条路，还会立刻意识到，其他那些你从未走过、但同样通向这个山谷的路线也变得极具价值。

在强化学习领域，这种能力被称为“基于模型的学习”（model-based learning）。大脑利用对环境的内部模型，将直接获得的局部经验，推断并泛化到未曾经历的非局部选项上。然而，现实世界极其复杂，如果大脑要在每次获得奖励后更新所有未经历的路线，计算量将是灾难性的。因此，强化学习理论提出大脑必须进行“优先级排序”，优先更新那些最有用、最迫切的非局部经验。

那么，大脑究竟是如何在神经层面实现这种优先级排序的？

啮齿类动物研究表明，海马体在组织经验重放中起着关键作用，尤其是伴随出现的一种短暂的高频脑电活动：尖波涟漪（sharp-wave ripples）。同时，人类的功能磁共振成像（fMRI）研究也发现，前额叶皮层在表征任务结构和评估备选项时不可或缺。但是，由于fMRI的时间分辨率限制，我们一直不清楚海马尖波涟漪在人类基于模型的学习中具体扮演什么角色，以及它如何与前额叶皮层在毫秒级别上协同工作来完成复杂的信用分配。

为了回答这个问题，研究团队招募了34名植入颅内深度电极（iEEG）的癫痫患者，让他们完成一项精心设计的强化学习任务，以此直接观察大脑在获得奖励后，是如何将价值更新传播到未走过的路线上，并揭示其背后的跨脑区协调机制。

研究核心总结

这项研究巧妙地设计了一个“三臂老虎机”任务。每条机械臂固定连接两条路线，而每条路线最终通向两个可能产生奖励的终点之一。这种结构使得研究者能够将“局部学习”（更新刚走过的路线）与“非局部学习”（更新通向同一终点的其他未走路线）分离开来。

一、行为学证据：人类会根据“优先级”更新未历经验

研究首先在行为层面上证实了非局部学习的存在。当受试者在某个终点获得奖励后，他们在下一回合不仅更倾向于选择刚走过的路线，也更倾向于选择那些同样通向该终点但刚才没走过的路线。

然而，非局部学习的效率低于局部学习，存在一个“效率鸿沟”。计算模型分析表明，受试者并非盲目地更新所有未走过的路线，而是根据“优先级”来分配学习资源。这里的优先级由“需求”（这条路线出现的频率有多高）和“收益”（预测误差有多大）共同决定。模型拟合结果显示，受试者对高优先级的非局部路线具有显著更高的学习率。

Fig 1. 实验设计与行为学表现。受试者需要利用学习到的任务结构，将直接获得的奖励价值推导并更新到未曾走过的其他路线上。

Fig 2. 行为学模型表明，受试者对高优先级的非局部路线具有更高的学习率，且结构利用能力越差的受试者，局部与非局部学习的效率鸿沟越大。

二、海马尖波涟漪不仅反映奖励预测误差，更编码非局部更新的优先级

在明确了行为模式后，研究者将目光转向了神经信号。颅内脑电数据显示，在受试者获得奖励后的2.5秒内，海马体同时编码了奖励预测误差和非局部路线的优先级。

更关键的发现隐藏在海马尖波涟漪中。研究者发现，在获得奖励后的420到740毫秒这个特定时间窗内，海马尖波涟漪的发生率不仅与预测误差相关，更与优先级紧密挂钩。特别值得注意的是，涟漪的持续时间（duration）特异性地反映了优先级信息：当非局部路线的优先级较高时，长时程涟漪的持续时间会显著增加，而短时程涟漪则没有这种变化。这意味着，海马尖波涟漪不仅仅是在宣告“有奖励发生”，更是在计算“哪些未经历的路线最值得更新”。

Fig 3. 颅内脑电记录显示，外侧额极皮层（LFPC）和海马在基于模型的决策与奖励处理中发挥核心作用。

图10

Fig 4. 获得奖励后，海马尖波涟漪（尤其是长时程涟漪）显著编码了非局部路线的更新优先级。

三、涟漪发生期间，大脑皮层选择性地“重放”高优先级路线

如果海马尖波涟漪确实在指导优先级的分配，那么大脑皮层中应该能观察到相应经验的重现。研究者利用独立数据训练了针对不同路线图像的神经解码器，并在主任务中检测这些路线的自发重现（reactivation）。

结果证实了这一猜想。在奖励接收阶段，大脑皮层对高优先级非局部路线的重现强度显著高于低优先级路线。更重要的是，这种重现强度的分化极其依赖于海马尖波涟漪的时间窗口。在涟漪发生前，高低优先级路线的重现没有差异；而恰恰是在涟漪发生的瞬间（前后100毫秒内），高优先级路线的皮层重现被显著增强。这表明海马尖波涟漪开启了一个短暂的时间窗口，引导皮层选择性地重放最有价值的替代方案。

图11

Fig 5. 在海马尖波涟漪发生的窗口期，大脑皮层对高优先级非局部路线的神经重现显著增强。

四、外侧额极皮层与海马的精准同步驱动了非局部学习

基于模型的学习不仅需要海马的重放，还需要准确调用内部的任务结构。研究发现，位于前额叶最高层级的外侧额极皮层（LFPC）在这一过程中扮演了关键角色。

在奖励后的涟漪窗口期，LFPC的活动显著增强，并且专门编码了优先级信息。有趣的是，如果脱离了海马尖波涟漪的同步，LFPC就不再编码优先级。此外，受试者在涟漪期间LFPC的激活越强，他们在行为上对任务结构的利用就越准确。

为了验证这种神经同步是否真的影响了学习，研究者构建了一个混合学习模型。结果显示，只有当LFPC活动与海马尖波涟漪精准对齐时，才会特异性地提高非局部学习的学习率。相比之下，腹内侧前额叶（VMPFC）和外侧眶额皮层（LOFC）在涟漪期间只编码预测误差，不编码优先级。这种双重分离表明，海马与LFPC的协同是实现复杂模型学习的专属机制。

图12