网络音乐以其使用率一直位居中国互联网应用前三甲的宝座，音乐已经成为用户通过搜索引擎搜索的前三大类内容之一，用户比例高达41.6%，大部分综合搜索引擎都已经提供针对音乐的垂直搜索功能。互联网上日益庞大的用户规模以及海量的数字音乐要求高效的音乐检索手段和令用户满意的检索体验。 本系统采用多模态情感回归的方法，实现音乐情感的自动标注，并通过音乐情感词作为中间桥梁，实现音乐情感维度信息到情感类别的映射，间接实现了音乐情感的分类。因此本系统能够同时满足对音乐情感维度信息和类别信息自动标注的需求。

由于计算机视觉和人类视觉系统统的工作机理不同，研究适合计算机的传感方法和处理方法，是机器视应用的一条切实可行的途径。基于多目人脸识别重建的关键技术研究，采用主动视视频图像重采样技术，实现人脸三维数字化，对立体视觉多CCD传感器数据融合研究。重点研究基于混沌、小波神经网络和遗传算法等经算法实现情感的特征提取与识别技术，构建其数学模型系统，然后对人脸进行三维重建，最后对真实感三维人脸实施编辑，实现原型系统研制。 可获得的成果 1）、基于主动视觉对运动人脸特征与情感进行特征提取与识别技术； 2）、基于混沌、小波神经网络等优化算法实现情感识别技术； 3）、人脸重建关键技术的研究及其真实感三维人脸编辑研究并对实现原型系统研制。

结合模式识别及语音情感感知算法，开发了应用于移动平台的语音情感识别系统，该技术具有自主知识产权。该系统能够通过移动终端采集用户的语音信号，经情感建模和识别算法处理后，实时感知用户语音中包含的六种基本情感信息（高兴、悲伤、惊讶、害怕、生气、嫌恶）。系统特点：1、融合说话人无关和说话人相关两种语音情感模型，用以弥补单一模型无法兼顾算法普适性和准确性的不足；2、具备在线及离线两种工作模式，在线模式下，移动设备可以借助服务器获得更为准确的识别结果，并且节省运算资源；3、对移动设备使用环境中的低采样率与低信噪比环境作了针对性优化，保障了识别算法在一般环境下的鲁棒性。 本系统基于北京航空航天大学模式识别与人工智能实验室的多模型融合语音情感识别技术，在移动平台上实现了对说话人情感表达的识别。其能够对说话人相关和说话人无关情形进行相应优化，对于未在系统注册的一般用户，识别准确率为76%；对于已在系统注册的用户，识别准确率可达83%，属于国内外领先水平。对于长度为2s的语音，本系统离线模式下识别时间小于0.5s，在线模式下识别时间小于0.2s。

本发明公开了一种基于李群论的多模态情感识别方法，包括以 下步骤：获取视频，并提取视频帧中图像区域的高斯型特征描述子， 基于高斯型特征描述子对视频中的图像区域进行跟踪，根据视频子序 列构建 ARMA 模型获取 ARMA 模型间的距离，根据 ARMA 模型之间 的距离构建核函数，并进行情感表达分类，根据人体、脸部和手部的 情感类别概率对人进行情感识别。本发明根据视频中所包含的人体姿 态运动信息、手势和脸部表情信息来判断人的情感状态，是一个将视 频数据映射到人体运动特征、手势特征和脸部表情特征，再从人体运 动特征空间和脸部表情特征映射到状态空间的过程，并提出利用李群 论进行多模态情感识别，提高模型进行情感识别的精确性。

本发明公开了一种基于近邻原则合成情感模型的说话人识别方法，包括：(1)训练出参考语音和用户中性语音的模型；(2)提取GMM参考模型的中性-情感高斯分量映射集；(3)提取与用户的中性训练高斯分量邻近的若干中性参考高斯分量映射的情感参考高斯分量；(4)合成出用户的情感训练高斯分量，进而得到用户的情感训练模型；(5)合成出所有用户的GMM训练模型；(6)输入测试语音进行识别。本发明采用基于KL散度的近邻原则从语音库中提取若干与用户的中性训练语音相似的参考语音，用参考语音中的情感参考语音合成出用户的情感训练语音，改善了在训练语音与测试语音失配情况下说话人识别系统的性能，提高了说话人识别系统的鲁棒性。

1. 痛点问题 根据国家卫健委疾病预防控制局公布的数据显示，截至2017年底，全国13.9亿人口中有2亿4千万人患有精神障碍问题，其中严重精神障碍患者超过1600万，这一数字还在逐年增长。2021年权威数据显示，全球患有抑郁症的患者超过3.5亿人，中国抑郁症患者高达5400万人，占总人口的4.2%，1.5亿青少年中受情绪和压力困扰的超过3000万人，每年因心理问题导致死亡的近300万。仅清华大学心理咨询中心一学期接诊学生就近4000人次。这些数字说明，我国民众的心理健康问题日趋严重。 与此形成巨大反差的是，在我国拥有心理咨询师从业资格证（三级和二级）的人数大约有150万，但实际上从业人数不足10%，其中专业水平也是参差不齐。2020年中国精神科执业（助理）医师刚刚达到4万人。因此，心理健康的专业从业者数量存在巨大缺口。这就为数字化心理健康技术和产品提供了发展空间。 2. 解决方案 核心技术： 面向心理咨询和治疗的自然语言处理技术 针对心理健康常见的情绪识别、关键信息提取技术。       情绪支持对话技术 借鉴心理咨询模型的情绪支持对话框架，根据策略标注实现高效的情感安抚对话生成。 预期产品和服务： 面向高校学生、企业员工和社会人士提供的智慧心理健康服务平台，融合了专业心理咨询服务，人工智能赋能的朋辈咨询对话机器人，以及辅助心理健康产品的服务平台。 心理健康信息化系统： 为专业心理咨询机构和心理咨询师提供流程管理和优化、来访者档案管理、咨询档案管理、智能辅助机器人等服务。

AI心理情绪识别系统1.多模态信号采集：人脸动态图像、脑电信号采集、语音情感检测。2.功能模块包含：情绪检测、情绪档案、数据统计、用户管理、系统设置功能模块。3.系统基于情绪心理学相关理论，结合面部表情的二维情感空间分析技术、脑电信号的状态分析、语音的三维情感空间分析三种模态相互融合叠加技术，检测人心理情绪状态，提高其检测准确度。3.    基于摄像头面部情绪识别技术，可以实时分析人体面部所包含的情绪状态。通过非接触式的实时视采用 AI 人工智能学习技术，结合心理学，通过对被测试人员 60秒的测试，能够获取相关心理/心理指标。帮助被测试人员了解自己的心理健康状况，并且引起人们重视心理健康，从而在工作、学习、生活当中提高身心健康。并且通过定期测试，能够获取个体、准确的进行心理危机预警，显示被测人员心理危机测试报告，提醒心理医生重点关注。用户在进行注册登录后，根据语音提示可直接进入测试界面进行情绪识别。点击测试按钮，调整好站立位置，脸部朝向屏幕，人脸录入即可完成测试，测试完成即可生成测试报告并能打印报告。4    基于脑电生物传感器状态检测、实时展示人体脑波原始状态指标以及Delta、Theta、Alpha、Beta、Gamma等8个EEG参数。5.    采用任务态模式进行语音情感分析，测试者按照系统设定的特定语境信息进行朗读来进行情感分析。6.    检测结束后可实时出具“心理生理状态分析结果报告”，其中包括被测试人员信息、检测时间、12维度心理生理情绪数据，包含正面情绪（平衡、自信心、活力、调节水平），负面情绪（攻击性、压力、紧张、可疑），生理参数（抑制、神经质、消沉、幸福指数），以及综合状态指标：专注度、放松度、疲劳指数、焦虑指数、压力指数、抑郁指数等。7.    统计分析：系统自带数据中心的统计功能，可以按单位进行所有检测人员的压力分布图及重点关注人员的信息显示。8.    检测完成后系统自动生成检测报告，检测报告需包含每项参数的检测数据大小、参考范围、异常数据等，以及用情绪参数雷达图、饼状图、直方图、曲线视图等多种表示方法。9.    信息查询功能：管理员可通过多条件查询功能，只需通过任意一项查询条件即可快速查询出与之对应和匹配的测试者信息，以及该测试者的历史测试记录，并可对该测试者的测试记录进行纵向和横向对比，综合分析该名测试者的心理健康状况。9.用户管理端：以管理员身份登录该系统可对用户进行管理。可进行添加用户、删除用户、查询用户、用户信息修改、密码修改、级别权限设置、单位框架搭建、查看用户报告，以及导出、打印用户报告。10.系统具有特定场合模态设置功能，可关闭和开启语音检测功能。11.视频检测时面部框具有信号质量检测功能，通过不能的颜色在面部框进行彩色状态提示，同时具有人脸检测判别功能，比如面部不全、距离较远等识别功能

已有样品/n采用自主研发的人脸识别技术，识别率达到国际先进水平。已经在 多个案例中使用。 该项目广泛应用于平安城市、智慧城市、智能安防、门禁、司法鉴 定、公安侦查方面，具有较好的市场前景。

本系统基于北京航空航天大学模式识别与人工智能实验室的多模情感识别与情感表达融合技术，开发了基于3D仿生代理的多模情感人机交互系统。该系统具有情感感知与表达能力，能够通过采集用户的视音频信号，实时感知用户表情和语音中包含的六种基本情感信息（高兴、悲伤、惊讶、害怕、生气、嫌恶），识别准确率达到85%，并通过3D仿生代理生动的语音和肢体动作与用户进行自然和谐的对话交流。系统消耗资源少，适合移动平台；融合表情和语音进行决策级情感识别，识别率高；采用3D仿生代理，交互界面生动自然。该系统及相应情感感知技术可应用于新一代情感人机交互界面。本成果已获得授权发明专利2项，受理发明专利15项，申请国际发明专利2项。授权发明专利如下：一种鲁棒的人脸表情识别方法，ZL200810223211.6；汉语语音情感信息的提取及建模方法，ZL200810104541.3。

声纹是对语音中所蕴含的、能唯一表征和标识说话人身份的语音特征参数及基于这些特征参数所建立的语音模型的总称。声纹是人的生物个性特征，很难找到两个声纹完全一样的 人。声纹识别技术属于生物识别技术的一种，是一项根据语音波形中所蕴涵的说话人信息， 自动识别说话人身份的技术。与语音识别不同的是，声纹识别利用的是语音信号中的说话人 信息，而不考虑语音中的字词意思，它强调说话人的个性;而语音识别的目的是识别出语音 信号中的言语内容，并不考虑说话人是谁，它强调共性。声纹识别根据应用的范畴，可分为两类:(1)声纹辨认(说话人辨认):用以判断某段 语音是若干人中的哪一个所说的，是“多选一”问题;(2)声纹确认(说话人确认):用以 确认某段语音是否是指定的某个人所说的，是“一对一判别”问题。截止到 2009 年初，声纹识别产品在生物识别市场的占有率为 15.8%，仅次于指纹识别 和掌形识别。目前，我国生物识别行业内厂商有 200 多家，其中 96%从事指纹识别技术相 关产品的研究和开发，产品趋同化明显。国内声纹识别市场已经启动，其发展空间更为广阔， 在金融、证券、社保、公安、军队及其他民用安全认证等行业和部门有着广泛的需求。