在情感计算（Affective Computing）领域，一个核心问题始终存在：机器如何更准确地理解人的情绪？近年来，脑电（EEG）与近红外脑功能成像（fNIRS）逐渐成为情绪识别研究中的重要生理信号来源。但一个关键问题仍未被充分回答：
单一模态是否足够？
EEG同步fNIRS，是否真的能提升情绪识别的可靠性与泛化能力？
来自奥克兰大学（The University of Auckland）的一项博士研究，对这一问题进行了回答。
研究背景
为什么选择EEG + fNIRS？情绪测量通常有三类途径：
① 主观量表（如SAM、PANAS）
② 外在行为表达（面部、语音等）
③ 生理信号（脑电、心率、皮电等）
其中，脑信号具有难以伪装、直接关联神经活动的优势。
EEG：毫秒级时间分辨率，反映神经电活动
fNIRS：反映血氧动力学变化，空间定位更稳定两者在神经血管耦合层面具有天然互补性。
然而，过去存在着明显研究空白：
① 缺乏大规模公开的fNIRS-EEG情绪数据库现有多模态数据库（如DEAP、MAHNOB-HCI等）多以EEG为主，真正融合fNIRS-EEG并面向情绪研究的公开数据极少。
② 缺乏完整的多模态情绪识别Pipeline探索从数据清洗、特征提取到模型评估尚未形成系统性方法论。
③跨被试泛化问题（Cross-subject generalizability）个体差异严重影响模型表现，这是情绪识别走向真实应用的关键障碍。
本项研究的核心贡献
1.构建目前规模最大的fNIRS-EEG情绪数据库
FEAD数据库研究设计了三类情绪诱发实验：分别是视频刺激、声音刺激与音乐刺激。
同时采集EEG信号、fNIRS信号以及主观量表评分（valence / arousal / dominance）。形成名为FEAD（fNIRS-EEG Affective Dataset）的数据库。
2.情绪识别框架横评
系统比较三种情绪识别框架研究：传统机器学习框架SVM、Random Forest、KNN、LDA 等特征驱动型深度学习端到端深度学习模型ShallowConvNet、MTCNN结论表明：
多模态fNIRS-EEG系统在不同情绪维度上整体优于单一模态。
不仅如此，论文建立了：特征方法基准准确率、深度学习基准准确率以及不同验证范式（subjective / subject-biased / subject-independent）的系统比较。
3.引入Domain Adaptation解决跨被试问题
引入Domain Adaptation解决跨被试问题跨被试泛化是情绪识别的核心难点。
研究引入多种领域自适应（Domain Adaptation）方法，包括：CORAL、Subspace Alignment、Transfer Component Analysis、Deep Domain Adaptation在传统框架与深度学习框架中分别测试。
结果显示：
合理的Domain Adaptation策略可以显著提升跨被试识别性能。
这为真实HCI应用场景（如教育系统、医疗监测系统）提供了可行路径。
4.小结
这项研究不仅是一个“准确率提升”的工作，更重要的是提供了方法论层面的系统框架
对于脑机接口与情绪计算领域而言，这项研究的意义在于推动了一个更现实的问题：
情绪识别系统，如何从“实验室模型”走向“可泛化系统”？
