A047 Sci Adv | fMRI 读心术？脑活动解码成一句话
来源：公众号 PSY-Brain_Frontier ｜ 发布：2025-11-17 ｜ 原文链接
PsyBrain 脑心前沿 | 公众号 PSY-Brain_Frontier
一键关注，点亮星标 ⭐️
不错过每日前沿资讯
认知神经科学前沿文献分享
基本信息：
Title:Mind captioning: Evolving descriptive text of mental content from human brain activity
发表时间：2025.11.5
Journal:Science Advances
影响因子：12.5
获取原文：
- 后台回复“文献”即可获取PDF版本
- 点击页面底部“阅读原文”即可跳转论文原网页
引言
当我们能“读懂”脑海里的画面，世界会怎样？
有过这样的体验吗：
你一边看视频，一边在脑子里“自动配字幕”，把复杂的场景拆成“谁在做什么、在哪里、对谁做”的关系网；视频看完很久，脑海里依旧能“回放”关键片段？
在人与人的交流中，我们把这种丰富而结构化的视觉经验转成语言，可是对机器与科学而言，这一步一直很难。近年的脑机接口（Brain–Machine Interface, BMI）和“脑解码”（brain decoding）发展很快，已经能直接从人类大脑活动生成文本，但多数方法要么靠大规模语料和复杂的非线性模型“猜”语言，要么只抓住“单个物体/词语”的线索，离“完整、细腻、带关系的描述”仍有距离。Horikawa 在《Science Advances》2025 年发表的这篇单作者论文，抛出了一个很有意思的答案：Mind Captioning（心智字幕）。它不是把脑信号直接“翻译成句子”，而是把脑活动先译成“语义特征”，再用一种受控的掩码语言建模（Masked Language Modeling, MLM）迭代优化出与这些语义特征对齐的自然语言描述。这样做的妙处在于：一方面保留了可解释性（线性解码、特征桥接），另一方面又能生成流畅、结构化的文字，甚至在不依赖传统“语言网络”（fronto-temporal language network）的情况下，也能准确捕捉观看到的复杂视觉语义，并且能泛化到“回忆”（mental imagery），把你心里“想的画面”也说出来。
更大胆的是，作者把这条路径定位为“解释性接口”（interpretive interface）：它不是“还原思想本身”，而是在脑表示与语言之间，搭建一个受世界知识与模型先验影响但可控、可审视的翻译层。这不仅给基础科学（结构化视觉语义在脑中的表征）提供了新抓手，也为失语症等人群打开了“非语言思维→文字”的全新沟通通道（比如面向文本提示系统）。
省流总结
背景痛点：以往从fMRI解码视觉语义，多聚焦单物体/词或依赖非线性图像字幕模型，难以可信地得到“带关系的完整描述”。
方法亮点：两阶段框架——①全脑fMRI → 线性解码到语言模型（DeBERTa）语义特征；②用MLM（RoBERTa）对候选句迭代“掩码-补词-筛选”，让句子的语义特征与“脑解码特征”对齐，得到流畅且结构化的描述。
核心发现：对观看与回忆场景均可生成可判别的文字描述；打乱词序会显著降准，证明模型抓住了结构化语义；不依赖语言网络也能较高准确率识别；语义特征在感知↔意象之间泛化最佳。
意义：把“非语言思维”译成文本的解释性接口，兼顾可解释性与生成力，为语言障碍者沟通与基础认知研究提供新工具，并提出伦理与先验偏倚的审视框架。
主要结果
Fig. 1. Mind captioning.
Fig. 2. Generating viewed content descriptions.
Fig. 3. Contributions from different brain areas.
Fig. 4. Generating recalled content descriptions
文章信息
Tomoyasu Horikawa, Mind captioning: Evolving descriptive text of mental content from human brain activity, Science Advances, 2025-11-05。
相关阅读
周报-20251006 | 近两周解读的29篇顶刊论文汇总 | 认知神经科学前沿动态 ⭐️[解读链接]
周报-20250922 |认知神经科学前沿动态周览 *⭐️[解读链接]***
周报-20251020|认知神经科学前沿动态周览**⭐️[ 解读链接 ]****
Nature |决策过程的动力学机制与神经模式转变 ⭐️[解读链接]
Nature |颠覆认知 ! “神经振荡”不成立？耶鲁团队提出大脑“伽马事件”新理论 ⭐️[解读链接]
Science |中国将领衔未来25年全球脑计划，剑指灵长类大脑地图 *⭐️[解读链接]***
Neuron |大脑如何区分现实与想象？伦敦大学学院团队最新研究揭秘“现实信号”的神经密码 ⭐️[解读链接]
Nature | 视觉系统新发现：压缩式的物体识别机制 ⭐️[解读链接]
Nat Hum Behav｜你不是天生就爱跟风：社会特征学习理论揭示人类“随大流”背后的秘密 *⭐️[解读链接]***
Nature |“读心术”成真？从瞳孔变化中解码大脑皮层完整时空动态 ⭐️[解读链接]
PNAS｜刷短视频停不下来？研究揭示“新奇感”是驱动人类探索的古老密码 *⭐️[解读链接]***
Neuron | 最强脑发育数据库RBC开放下载，6000+青少年大脑数据揭示精神健康的秘密 ⭐️[解读链接]
Nature 子刊综述｜大脑预测误差的核心回路 *⭐️[解读链接]***
前沿交流 | 欢迎加入认知神经科学前沿交流群！⭐️[解读链接]
核心图表、方法细节、统计结果与讨论见原文及其拓展数据。
分享人：BQ
审核：PsyBrain 脑心前沿编辑部
PsyBrain 脑心前沿
带你了解心理学、脑科学的前沿知识与技术流程
预览时标签不可点
阅读原文
不喜欢
微信扫一扫
关注该公众号
知道了
微信扫一扫
使用小程序
取消 允许
取消 允许
取消 允许
× 分析
微信扫一扫可打开此内容，
使用完整服务