本发明公开了一种基于有限状态自动机的语音情感交互装置与方法。所述装置包括：语音采集模块，用于设置录音源、采样率、音频通道、音频数据格式，完成后向原始文件写入裸数据生成文件A；对文件A进行语音情感识别的语音情感识别模块；通过情感的载体进行情感交互的语音情感交互模块。语音情感交互模块包括：有限状态自动机模型的构建模块，用于采用有限状态机描述语音情感状态及其转换过程；情感交互状态转换表的建立模块，用于有限状态自动机转换函数的定义和有限状态自动机转换函数的确定；转换矩阵模块，用于在有限状态自动机模型中，用状

一、项目简介 随着智能硬件的快速普及，人机交互方式发生了重大变革，迫切需要语音唤醒、近/远场语音识别、语音合成等语音交互关键技术，尤其要解决复杂场景下的识别鲁棒性等问题。 二、前期研究基础 已开发实现语音唤醒、命令词识别系统、多元麦克风阵列系统、云端“自由说”语音识别系统、基于深度学习的语音合成系统。 三、应用技术成果 应用开发方面，课题组与华为公司合作，研发语音交互关键技术，涉及语音唤醒、声纹识别、语音识别、麦克风阵列，已开发实现语音唤醒、声纹识别和麦阵语音识别系统，应用到智能手机、智能机器人等平台。 四、合作企业 华为技术有限公司是一家生产销售通信设备的民营通信科技公司，于1987年正式注册成立，总部位于中国深圳市龙岗区坂田华为基地。华为是全球领先的信息与通信技术（ICT）解决方案供应商，专注于ICT领域，坚持稳健经营、持续创新、开放合作，在电信运营商、企业、终端和云计算等领域构筑了端到端的解决方案优势，为运营商客户、企业客户和消费者提供有竞争力的ICT解决方案、产品和服务，并致力于使能未来信息社会、构建更美好的全联接世界。2013年，华为首超全球第一大电信设备商爱立信，排名《财富》世界500强第315位。目前，华为约有18万名员工，业务遍及全球170多个国家和地区，服务全世界三分之一以上的人口。

结合模式识别及语音情感感知算法，开发了应用于移动平台的语音情感识别系统，该技术具有自主知识产权。该系统能够通过移动终端采集用户的语音信号，经情感建模和识别算法处理后，实时感知用户语音中包含的六种基本情感信息（高兴、悲伤、惊讶、害怕、生气、嫌恶）。系统特点：1、融合说话人无关和说话人相关两种语音情感模型，用以弥补单一模型无法兼顾算法普适性和准确性的不足；2、具备在线及离线两种工作模式，在线模式下，移动设备可以借助服务器获得更为准确的识别结果，并且节省运算资源；3、对移动设备使用环境中的低采样率与低信噪比环境作了针对性优化，保障了识别算法在一般环境下的鲁棒性。 本系统基于北京航空航天大学模式识别与人工智能实验室的多模型融合语音情感识别技术，在移动平台上实现了对说话人情感表达的识别。其能够对说话人相关和说话人无关情形进行相应优化，对于未在系统注册的一般用户，识别准确率为76%；对于已在系统注册的用户，识别准确率可达83%，属于国内外领先水平。对于长度为2s的语音，本系统离线模式下识别时间小于0.5s，在线模式下识别时间小于0.2s。

本系统基于北京航空航天大学模式识别与人工智能实验室的多模情感识别与情感表达融合技术，开发了基于3D仿生代理的多模情感人机交互系统。该系统具有情感感知与表达能力，能够通过采集用户的视音频信号，实时感知用户表情和语音中包含的六种基本情感信息（高兴、悲伤、惊讶、害怕、生气、嫌恶），识别准确率达到85%，并通过3D仿生代理生动的语音和肢体动作与用户进行自然和谐的对话交流。系统消耗资源少，适合移动平台；融合表情和语音进行决策级情感识别，识别率高；采用3D仿生代理，交互界面生动自然。该系统及相应情感感知技术可应用于新一代情感人机交互界面。本成果已获得授权发明专利2项，受理发明专利15项，申请国际发明专利2项。授权发明专利如下：一种鲁棒的人脸表情识别方法，ZL200810223211.6；汉语语音情感信息的提取及建模方法，ZL200810104541.3。

基于语音交互的智慧家庭生态系统旨在提供全新的智慧家庭解决方案。产品秉承“君子动口不动手”的理念，为家人打造专属的“虚拟管家”。家庭的各房间内安装有智能语音交互终端和其分节点，主人可以和她进行简单、自然的语言交流即可获得家佳提供的各种服务和各种资讯，甚至可以通过语言完成家庭内电器的控制。本产品产业化后，属于蓝海市场，利润值较高，投资回报率较高。技术特点：红外学习能力强，所有设备均为无线连接和通讯，安装简单便捷，维护成本低，无需破坏装修和电器，云端具备用户行为模式大数据分析系统能能够给

1. 痛点问题 根据国家卫健委疾病预防控制局公布的数据显示，截至2017年底，全国13.9亿人口中有2亿4千万人患有精神障碍问题，其中严重精神障碍患者超过1600万，这一数字还在逐年增长。2021年权威数据显示，全球患有抑郁症的患者超过3.5亿人，中国抑郁症患者高达5400万人，占总人口的4.2%，1.5亿青少年中受情绪和压力困扰的超过3000万人，每年因心理问题导致死亡的近300万。仅清华大学心理咨询中心一学期接诊学生就近4000人次。这些数字说明，我国民众的心理健康问题日趋严重。 与此形成巨大反差的是，在我国拥有心理咨询师从业资格证（三级和二级）的人数大约有150万，但实际上从业人数不足10%，其中专业水平也是参差不齐。2020年中国精神科执业（助理）医师刚刚达到4万人。因此，心理健康的专业从业者数量存在巨大缺口。这就为数字化心理健康技术和产品提供了发展空间。 2. 解决方案 核心技术： 面向心理咨询和治疗的自然语言处理技术 针对心理健康常见的情绪识别、关键信息提取技术。       情绪支持对话技术 借鉴心理咨询模型的情绪支持对话框架，根据策略标注实现高效的情感安抚对话生成。 预期产品和服务： 面向高校学生、企业员工和社会人士提供的智慧心理健康服务平台，融合了专业心理咨询服务，人工智能赋能的朋辈咨询对话机器人，以及辅助心理健康产品的服务平台。 心理健康信息化系统： 为专业心理咨询机构和心理咨询师提供流程管理和优化、来访者档案管理、咨询档案管理、智能辅助机器人等服务。

产品概述： 人体针灸穴位数字交互系统是依据全国中医药行业高等教育“十四五”规划教材《针灸学》等进行研发，结合最新的计算机和三维虚拟仿真技术，把腧穴的认穴识穴、针灸手法、针灸治疗、人体解剖等知识进行呈现。针灸穴位发光人模型根据真实人体比例制成，含肌肉解剖、经脉循行流注、经脉络属表里关系等专业知识，内置光电感应电路模拟人体穴位，可实现穴位发光、语音播报、模型同步跟随，形成了新的中医针灸穴位的互动教学模式，方便了老师教学和学生学习。 系统内容： *1.1.、系统包含十四经络和针灸治疗两大模块。 *1.2、十四经络：包含了手太阴肺经、手阳明大肠经等十四经络循行（古今）介绍、病候、主治、穴位、分寸等内容； *1.3、针灸治疗：涵盖六种疾病类型，上百种病症的定义、辨证、治疗、主穴、配穴、方义、操作等详细内容 *1.4、针刺视频：包含40多种针刺手法以及分布腧穴毫针刺法、局部多针刺法等视频教学，教学效果直观有效。 1.5、穴位详解：三维虚拟模型上详细展示人体≥800（包含双侧）个腧穴的名称、注音、国际代码、点位、解剖位置等信息。 *1.6、常见的危险穴位具有特殊标记，详细信息包含异常针刺情况表现及情况处理。 *1.7、配备腧穴的横断面或矢状面图谱，了解腧穴在皮下的解剖结构和针刺的入针情况。 二、实训功能： 2.1、可实现铜人模型上≥210个穴位灯光的实时操控。 *2.2、软硬件同步：穴位发光、声音、三维虚拟人体模型跳转同步控制。 2.3、腧穴播报：可在使用硬件操作时，系统可以自动实时播报腧穴名称等内容。 2.4、双向交互：软件可控制铜人穴位灯的开启与关闭，铜人穴位触控笔点亮穴位，软件中三维模型可跳转到相应位置，并播报其穴位名称。 *2.5、在没有与软件系统相连接时，用户也可使用穴位触控笔点亮铜人模型上的穴位灯光。 *2.6、单穴、多穴：可选择单穴或多穴模式，实现不同数量穴位灯光的开启与关闭。 *2.7、经络循行：通过三维动效形式展示。可通过软件系统操作数字虚拟模型的经络开关，点亮铜人上的一整个经络穴位，显示十二经脉循环流注，经脉络属表里对经关系，直观了解人体中医经络循行。 *2.8、铜人穴位灯光可实现经络的循行走向。 2.9、穴位灯光可实现闪动与常亮。 2.10、利用红、橙、蓝、绿四种颜色穴位灯进行经络及穴位区分。 2.11、复位功能：一键关闭硬件模型上所有的灯光显示。 2.12、系统具有示教、训练多种功能，根据需求，在软件功能里选择需要点亮标记的腧穴，进行相关的教学和训练。 *2.13、针灸治疗模块下，配合铜人模型可对不同病症的主穴或配穴的穴位灯单独显示。 *2.14、演示功能：可实现所属经络的穴位灯光循环闪动。 三、软件功能 *3.1、根据真实人体比例打造高仿真的三维人体数字模型，可进行任意角度旋转、放大、缩小、平移，可切换前、后、左、右、上、下六视图、对任意界面进行截图保存等多种操作等。 3.2、重置：一键重置三维模型至初始状态。 3.3、对称穴位：一键显示对侧的穴位，方便对侧穴位的定位和学习。 3.4、骨度分寸：根据当前学习的穴位，一键获得根据临近结构得出的分寸信息，更方便腧穴认知。 *3.5、透明度：可一键透明皮肤、肌肉、骨骼，也可以调节不同层度的透明度，方便学习人体的内部解剖结构的毗邻关系。 *3.6、搜索：输入穴位名称、拼音或代码，可在三维人体模型上快速定位到该穴位。 *3.7、系统：可以对皮肤、肌肉、骨骼、脏器、血管、神经等解剖系统进行隐藏和显示。 3.8、设置：多背景颜色设置，适配不同的操作场景。 3.9、界面清爽模式：一键隐藏所有功能选区，只显示三维虚拟模型，并可随时调取。 3.10、一键实现模型衣服的隐藏和显示，方便模型穴位的查看。 3.11、语音功能：针对详细注解内容，进行对应的语音讲解。 *3.12、具备模拟考试功能,自动从实训题库中随机选择5道题目，组成模拟卷，供随机练习。另具有危险穴位题库可供选择。 四、配置清单 4.1、65寸触摸一体机含支架。 4.2、主机：intel i5处理器、 8G 及以上内存、 500G SSD高速固态硬盘、独立显卡支持高清输出。 *4.3、仿古铜人模型：全铜打造，高度不低于168CM，重量不低于75kg. 五、中医针灸数字人系统V1.0 一套

产品详细介绍 规　　格： 白色塑料5.5寸2分频 频率响应： 100Hz~18kHz 输出阻抗： 4W 额定功率： 20W~60W 最大声压： 110dB SPL，126dB SPL Peak

产品详细介绍■ 外观小巧，简洁美观，箱体线条流畅，具有现代感。采用色彩明快的白色洒点漆作为饰面，符合流行潮流，与白色小孔钢网罩浑然一体。■ 安装方便，可采用壁挂式安装，水平方向旋转，垂直仰俯角度调整自如，使声场方向任意改变，满足声场的一不同指向性。■ 听感自然，声音清晰，能够很好地表现和还原人声。规格参数■ 额定阻抗：               8Ω ■ 额定功率：               30W ■ 最大功率：               60W ■ 有效频率范围（-6dB）：   100 Hz -16KHz ■ 灵敏度：                 89dB /w/m ■ 连续声压级：             104dB ■ 最大声压级：             110dB ■ 单元规格：               5"×1(高音杯) ■ 净尺寸（宽×高×深）：   167×272×153 ■ 净重：                   2.3Kg

产品详细介绍■ 外形美观，品质优良，安装方便，可靠性高，语言清晰。■ 特别适合中小学校教室扩声。规格参数 ■ 额定阻抗：                   8Ω■ 额定功率：                   60W ■ 最大功率：                   120W ■ 有效频率范围（-3dB）：       80Hz－18KHz ■ 灵敏度：                     88dB /w/m ■ 连续声压级：                 113 dB ■ 最大声压级：                 120 dB ■ 辐射角度（H×V）：           90°×50° ■ 单元规格：                   LF：6.5"×1，HF：2"×1 ■ 净尺寸（宽×高×深）：       250×410×180 ■ 净重：                       5 Kg