基于人类视觉的多模态深度学习模型可解释性研究

20251127

科学研究和技术服务业

项目代码已开源 https://github.com/BIT-YangLab/CLIP-MSM

项目遵循MIT开源协议

可国（境）内外转让

预期为脑机接口，模型可解释性分析提供帮助

北京市自然科学基金本科生“启研”计划

北京市科学技术委员会;中关村科技园区管理委员会

近年来，深度视觉模型在自然图像理解任务中取得了突破性进展，但其内部表征机制仍被视为“黑箱”。为推动人工神经网络的可解释性研究，并深化对人类视觉皮层功能组织的理解，本研究综合提出了两项互补的脑模型映射方法：CLIP-MSM（多语义映射框架）与 SAE-BrainMap（基于稀疏自编码器的模型-脑对应框架）。两种方法分别从语义选择性分析与结构功能对应的角度，系统揭示了深度学习模型与人类高层视觉皮层之间的深层联系。 首先，CLIP-MSM 通过融合 CLIP 模型的视觉与文本编码器，并改进 CLIP Dissection，为单体素构建了多语义响应映射，实现了不依赖预设假设的高层视觉语义选择性分析。实验结果显示，CLIP-MSM 在面孔、身体、场景、文字、食物等语义类别的脑激活预测上显著优于传统的 Network Dissection，并在 NSD 和 NOD 两个大规模 fMRI 数据集上显示出高度可重复性，表明其在脑语义功能研究中的普遍适用性。 其次，SAE-BrainMap 利用稀疏自编码器分解视觉模型的激活向量，将模型表征映射至一组具备可解释性的稀疏特征。与体素级 fMRI 激活相比，SAE 单元在多个模型（包括 CLIP、MAE、DiNOv2 等）中均表现出高度激活相似性，说明两者共享相似的表征结构。进一步分析显示，这些稀疏特征能够重建腹侧视觉通路的经典层级结构，并精准反映模型从低层边缘与纹理信息向高层抽象语义的加工过程，揭示了模型内部功能流的脑机制对应。 两项研究共同表明，深度视觉模型与人类高层视觉皮层之间存在系统性的结构与语义对应关系。CLIP-MSM 关注语义维度，SAE-BrainMap 关注功能结构，两者的结合为构建可解释的类脑视觉模型提供了新的理论与方法支撑。该研究不仅推动了人工智能与认知神经科学的交叉融合，也为脑机接口、视觉理解模型设计以及脑功能障碍评估提供了潜在的应用价值。