计算机与信息工程学院冯为嘉教授牵头的空间感知与智能团队与白学军副校长团队针对真实场景下长视频微动作极度稀疏、且传统方法缺乏认知不确定性建模导致误报率高的问题,创新性地提出了一种基于认知不确定性感知的主动推理框架。研究成果以“An Epistemic Uncertainty Aware Mamba Framework for Emotional Stress Assessment with Spontaneous Micro-Gestures”为题,被IEEE Transactions on Affective Computing录用。
该方法首先引入了具有线性计算复杂度的Mamba状态空间架构,实现了对长时视频流的高效时序建模;其次,提出了一种基于变分自由能引导的认知门控机制,通过动态评估模型的认知不确定性,有效抑制了模糊的背景噪声干扰;最后,在下游的心理压力评估阶段,模型自主提取最具判别性的行为基元,进一步验证了心理学界的“非语言泄漏层次结构”理论,为深度学习模型提供了良好的临床可解释性。所提出的基于认知不确定性感知的微动作发现与情感压力评估架构如图1和图2所示。
实验结果表明,该方法在SMG数据集上取得了显著的性能提升,有效降低了在极端稀疏数据环境下的误报率。其在线长视频微动作发现的综合性能优于多种现有主流方法;在心理压力情绪评估任务中,诊断准确率达到70.0%,展现出超越同模态人类专家基线的判别潜力。

图1. 基于认知不确定性感知的微动作识别架构

图2. 基于行为基元的分层情感压力推断
计算机与信息工程学院冯为嘉教授为第一作者,深圳大学王晨阳副教授为通讯作者,白学军副校长对论文进行了指导,天津师范大学为第一完成单位。研究得到天津市重点基金项目(25JCZDJC00250)资助。
论文链接:DOI:10.1109/TAFFC.2026.3698092