一种基于李群论的多模态情感识别方法
本发明公开了一种基于李群论的多模态情感识别方法,包括以 下步骤:获取视频,并提取视频帧中图像区域的高斯型特征描述子, 基于高斯型特征描述子对视频中的图像区域进行跟踪,根据视频子序 列构建 ARMA 模型获取 ARMA 模型间的距离,根据 ARMA 模型之间 的距离构建核函数,并进行情感表达分类,根据人体、脸部和手部的 情感类别概率对人进行情感识别。本发明根据视频中所包含的人体姿 态运动信息、手势和脸部表情信息来判断人的情感状态,是一个将视 频数据映射到人体运动特征、手势特征和脸部表情特征,再从人体运 动特征空间和脸部表情特征映射到状态空间的过程,并提出利用李群 论进行多模态情感识别,提高模型进行情感识别的精确性。
华中科技大学
2021-04-11