一种基于李群论的多模态情感识别方法

新一代信息技术

本发明公开了一种基于李群论的多模态情感识别方法，包括以

下步骤：获取视频，并提取视频帧中图像区域的高斯型特征描述子，

基于高斯型特征描述子对视频中的图像区域进行跟踪，根据视频子序

列构建 ARMA 模型获取 ARMA 模型间的距离，根据 ARMA 模型之间

的距离构建核函数，并进行情感表达分类，根据人体、脸部和手部的

情感类别概率对人进行情感识别。本发明根据视频中所包含的人体姿

态运动信息、手势和脸部表情信息来判断人的情感状态，是一个将视

频数据映射到人体运动特征、手势特征和脸部表情特征，再从人体运

动特征空间和脸部表情特征映射到状态空间的过程，并提出利用李群

论进行多模态情感识别，提高模型进行情感识别的精确性。

未应用