基于音视频识别及语义分析的智能约谈平台

针对行政约谈场景中存在的人工记录效率低、内容理解偏差记录、资料追溯繁杂等问题，本成果开展了基于音视频识别及语义分析的智能约谈平台的研究。基于 AI 深度学习的音视频识别框架、复杂网络理论和语义知识本体的文本语义相似度计算方法，研究音视频识别的语音转写、对话管理、计算机视觉技术和内容分析的语义理解、语义优化、情感识别方法，实现网信约谈、纪委约谈、公安审讯、监狱谈话等多种行政约谈场景下的约谈智能化和数字化。其中，语音识别转写是开展智能约谈系统研究的前提和基础，本成果训练了声学模型和语言模型，构建编码器，通过音频角色分离和声纹识别技术分离说话人声音，编码器识别解码，经过文本语义处理转写为文本。而文本语义处理是智能约谈系统提升约谈效能的源动力，成果构建了基于语义本体的自动专家导引约谈知识库，通过基于复杂网络的语义相似度计算给约谈工作人员推荐约谈问题；约谈结束后，利用融合主题特征的文本自动摘要技术快速生成汇报摘要，利用基于分布式表示的事件抽取技术自动生成约谈报告。本成果研制高效、便捷的智能约谈音视频识别及语义分析平台，实现了在线约谈预约、人脸识别身份核验、语音实时转写、约谈问题智能引导提问、音视文同步显示、汇报摘要自动生成、约谈报告自动生成、约谈文件回溯、约谈大数据分析等功能。