X052 最新Nature正刊 | DeepMind将人类“语义抽象”注入视觉大模型， 让AI拥有人类的“世界观”！
来源：公众号 PSY-Brain_Frontier ｜ 发布：2025-11-13 ｜ 原文链接
PsyBrain 脑心前沿 | 公众号 PSY-Brain_Frontier
一键关注，点亮星标 ⭐️
不错过每日前沿资讯
AI&认知神经科学前沿文献分享
基本信息
Title:Aligning machine and human visual representations across abstraction levels
发表时间：2025.11.12 (今天凌晨刚上线)
Journal：Nature
影响因子：48.5
获取原文：
- 后台回复“文献”即可获取PDF版本
- 点击页面底部“阅读原文”即可跳转论文原网页（本文章为Open Access，可直接下载PDF）
引言：为何AI总是容易“看”错世界？
为什么AI看图时常“抓不住重点”？它们能轻易分辨不同品种的狗，却无法理解“狗”和“鱼”同属“生物”这一抽象概念。
2025年11月12日，一篇发表于 Nature 正刊的重磅研究直面这一“表征错位”问题。
这项由Google DeepMind、马克斯·普朗克研究所和柏林工业大学等机构合作完成的研究，直指一个核心问题：为什么当今最先进的深度神经网络（DNNs）在泛化能力和鲁棒性上依然脆弱，远不如人类视觉系统？
研究团队提出了一个名为AligNet的框架，成功将人类的多尺度抽象思维“注入”AI，构建了更鲁棒、更“类人”的视觉模型。
研究背景
你是否觉得，AI时常“聪明”，但又时常“糊涂”？
近年来，深度学习在计算机视觉领域取得了巨大成功，甚至被用作模拟人类行为和神经表征的模型。然而，AI的“翻车”现场也屡见不鲜：它们常常以一种人类绝不会犯错的方式失败 。
在视觉任务中，当前的深度神经网络（DNNs）已经取得了巨大成功。然而，它们的学习和泛化方式与人类截然不同。一个关键问题是：AI模型非常擅长学习“局部相似性”（比如，它们能精准区分哈士奇和阿拉斯加），但在“全局抽象”上却表现极差。
在人类的认知中，概念是高度层级化的 ：
我们不仅知道“哈士奇”是“狗”，更知道“狗”和“鱼”同属于“动物”，而“动物”又和“植物”同属“有生命”的范畴。
这种从精细到粗糙、跨越多尺度的抽象能力，是人类视觉鲁棒性的核心。
而AI模型恰恰缺乏这种多尺度概念结构 (multi-level conceptual structure) 。它们的表征空间往往是“扁平”的，导致它们在面对分布外（OOD）数据或需要抽象推理时，表现得非常“脆”，时常犯一些“非人”的低级错误 。如何弥合这种机器表征与人类认知之间的“鸿沟”，是构建更强大、更安全AI的瓶颈。
研究核心总结
为了解决这一“表征错位”，研究团队提出了一个名为 AligNet 的新方法框架，其核心思想是通过“表征蒸馏” (representation distillation)，将人类的认知结构“注入”AI模型中 。
Fig. 1 | Overview.
AligNet 方法论
该框架巧妙地解决了人类数据昂贵且稀缺的问题：
- 训练“教师模型” (Teacher Model)： 首先，研究者使用一个相对较小的人类行为数据集（THINGS，包含数百万次人类相似性判断）。他们通过 “仿射变换” 和 “不确定性蒸馏” 技术，训练一个大型视觉基础模型，使其转变为一个 “替代教师模型” 。这个“教师”不仅能模仿人类的判断，还能模拟人类的“不确定性” 。
- 生成 AligNet 数据集： 接着，这个“教师模型”被用来给一个巨大的图像库（ImageNet）中的数百万个图像三元组打上 “伪标签” 。这个新生成的、携带人类认知偏差的大规模数据集被称为 AligNet 。
- 蒸馏至“学生模型” (Student Model)： 最后，研究者使用 AligNet 数据集，通过“相似性空间蒸馏” (similarity-space distillation objective，具体使用了Kullback-Leibler散度) ，去 “精调” 各种当今主流的“学生模型”（如 ViT, DINOv2 等） 。
Fig. 2 | Human alignment results.
双重优势：既更“类人”，也更“强大”
- 认知对齐：模型的“思考”与“犹疑”更像人
- 行为更接近人类： 在各项认知任务中，对齐后的模型与人类判断的一致性显著提高 。
- 捕获抽象层级： 研究者创建了一个全新的、跨越多个抽象层级（粗略、精细、类别边界）的数据集“Levels”。结果发现，AligNet模型在所有层级上均有提升，尤其是在它们最初最薄弱的“全局粗略层级” 上提升最大 。
- 不确定性更接近人类： 最令人瞩目的是，对齐后模型的“不确定性”（通过熵计算）与“人类反应时”（决策困难度的代理指标）之间的相关性大幅增加。这意味着，当人类觉得一个判断很难时，模型也同样觉得“纠结”。
Fig. 3 | Aligned models reflect the semantic hierarchy.
- 机器性能：模型更鲁棒、更泛化
- 提升泛化能力：在机器学习的下游任务中，对齐后的模型表现更佳，尤其是在“少样本学习” (Few-shot learning) 等考验泛化能力的任务上 。
- 提升分布外 (O.O.D.) 鲁棒性： 在专门测试模型鲁棒性的 BREEDS 基准上，AligNet 模型的表现一致且显著地优于原始模型。这证明了注入人类的层级结构确实能有效缓解AI的“脆性” (brittleness)。
Fig. 4 | Machine learning downstream results.
总而言之，本研究的重大价值在于，它证实AI的“鲁棒性”缺陷与“认知结构”缺陷是同一个问题。通过AligNet框架，研究团队将人类知识的多尺度关系结构注入神经网络，可以产生一种“两全其美”的表征 ：它既更符合人类的认知判断，又在实践中更具实用价值（更鲁棒、更泛化）。这项工作不仅为认知神经科学提供了更优的计算模型 ，更开辟了“AI对齐”的一个全新方向：从表层的值观对齐，深入到更底层的“表征结构对齐”。它为构建更鲁棒、更可解释、更值得信赖的AI系统铺平了道路。
Abstract
Deep neural networks have achieved success across a wide range of applications, including as models of human behaviour and neural representations in vision tasks. However, neural network training and human learning differ in fundamental ways, and neural networks often fail to generalize as robustly as humans do, raising questions regarding the similarity of their underlying representations. We need to determine what is missing for modern learning systems to exhibit more human-aligned behaviour. Here we highlight a key misalignment between vision models and humans: whereas human conceptual knowledge is hierarchically organized from fine- to coarse-scale distinctions, model representations do not accurately capture all these levels of abstraction. To address this misalignment, we first train a teacher model to imitate human judgements, then transfer human-aligned structure from its representations to refine the representations of pretrained state-of-the-art vision foundation models via fine-tuning. These human-aligned models more accurately approximate human behaviour and uncertainty across a wide range of similarity tasks, including a dataset of human judgements spanning multiple levels of semantic abstractions. They also perform better on a diverse set of machine learning tasks, increasing generalization and out-of-distribution robustness. Thus, infusing neural networks with additional human knowledge yields a best-of-both-worlds representation that is both more consistent with human cognitive judgements and more practically useful, paving the way towards more robust, interpretable and human-aligned artificial intelligence systems.
推荐相关阅读
周报-20251006 | 近两周解读的29篇顶刊论文汇总 | 认知神经科学前沿动态 ⭐️[解读链接]
周报-20250922 |认知神经科学前沿动态周览 *⭐️[解读链接]***
周报-20251020|认知神经科学前沿动态周览**⭐️[ 解读链接 ]****
Nature |决策过程的动力学机制与神经模式转变 ⭐️[解读链接]
Nature |颠覆认知 ! “神经振荡”不成立？耶鲁团队提出大脑“伽马事件”新理论 ⭐️[解读链接]
Science |中国将领衔未来25年全球脑计划，剑指灵长类大脑地图 *⭐️[解读链接]***
Neuron |大脑如何区分现实与想象？伦敦大学学院团队最新研究揭秘“现实信号”的神经密码 ⭐️[解读链接]
Nature | 视觉系统新发现：压缩式的物体识别机制 ⭐️[解读链接]
Nat Hum Behav｜你不是天生就爱跟风：社会特征学习理论揭示人类“随大流”背后的秘密 *⭐️[解读链接]***
Nature |“读心术”成真？从瞳孔变化中解码大脑皮层完整时空动态 ⭐️[解读链接]
PNAS｜刷短视频停不下来？研究揭示“新奇感”是驱动人类探索的古老密码 *⭐️[解读链接]***
Neuron | 最强脑发育数据库RBC开放下载，6000+青少年大脑数据揭示精神健康的秘密 ⭐️[解读链接]
Nature 子刊综述｜大脑预测误差的核心回路 *⭐️[解读链接]***
前沿交流 | 欢迎加入认知神经科学前沿交流群！⭐️[解读链接]
核心图表、方法细节、统计结果与讨论见原文及其拓展数据。
点击左下角 “阅读原文” 可跳转到论文源网站界面。
分享人：饭哥
审核：PsyBrain 脑心前沿编辑部
PsyBrain 脑心前沿
带你了解心理学、脑科学的前沿知识与技术流程
预览时标签不可点
阅读原文
不喜欢
微信扫一扫
关注该公众号
知道了
微信扫一扫
使用小程序
取消 允许
取消 允许
取消 允许
× 分析
微信扫一扫可打开此内容，
使用完整服务