本发明公开了一种基于李群论的多模态情感识别方法，包括以 下步骤：获取视频，并提取视频帧中图像区域的高斯型特征描述子， 基于高斯型特征描述子对视频中的图像区域进行跟踪，根据视频子序 列构建 ARMA 模型获取 ARMA 模型间的距离，根据 ARMA 模型之间 的距离构建核函数，并进行情感表达分类，根据人体、脸部和手部的 情感类别概率对人进行情感识别。本发明根据视频中所包含的人体姿 态运动信息、手势和脸部表情信息来判断人的情感状态，是一个将视 频数据映射到人体运动特征、手势特征和脸部表情特征，再从人体运 动特征空间和脸部表情特征映射到状态空间的过程，并提出利用李群 论进行多模态情感识别，提高模型进行情感识别的精确性。

本发明公开了一种多模态生物力学显微镜及测量方法，包括从上至下依次设置的透射光源、光子晶体水凝胶薄膜、载物台、反射光源、成像组件；光子晶体水凝胶薄膜置于载物台上并保持悬空状态，使得透射光可以穿透薄膜到达成像组件，反射光经所述薄膜反射后到达成像组件；当待测细胞置于光子晶体水凝胶薄膜上后，支撑所述待测细胞的光子晶体水凝胶薄膜发生形变，使得光子晶体水凝胶薄膜上的反射光方向发生改变，成像组件收集反射光和透射光并进行成像，得到表征细胞牵引力的阴影图像。本发明能够对细胞牵引力进行实时测量，实现传统图像信息与力学信息的多模态成像。

本发明提供了一种模态试验中多传感器附加质量消除方法，推导模态试验中多传感器质量影响消除公式，确定模态试验中布置的传感器个数及消除传感器质量的顺序，基于实测的频响函数根据消除公式逐一计算消除各传感器质量影响的频响函数。本发明首先基于Ｓｈｅｒｍａｎ?Ｍｏｒｒｉｓｏｎ公式推导传感器质量影响消除公式，根据公式实测所需的频响函数，代入公式依次逐一消除，最终实现多传感器质量消除。本发明实现了消除模态试验接触式测量方法中传感器附加质量造成的测量误差，通过对实测频响函数信号的处理消除了多传感器质量对频响函数的不利影响，具有实际工程意义。

多模态医学影像信息处理与分析，具有重大的应用背景，是国家和社会当 前高度重视的研究领域之一。 本项目拟基于机器学习方法，主要研究医学影像的特征描述、设备无关性 的特征评价与特征选择、基于内容的多模态医学影像检索、医学影像信息挖掘、 参考库建设与算法辅助研究平台的设计与开发等内容。研究目标为： （1）建立统一的特征描述模型，实现跨模态医学影像的统一特征描述； （2）提出有效解决特征提取层面上医学影像信息处理与分析算法的设备无 关性问题的通用框架； （3）在医学影像标注数据有限、数据库为海量等条件下，实现高效率单模 50 态影像检索，有效提高多模态、跨模态医学影像检索的精度，实现用户友好的 检索结果展示； （4）从结构复杂的多模态医学影像数据中，挖掘有用的知识，构建有效的 辅助诊断模型、实现个人疾病风险预警； （5）完成首期参考库建设与算法辅助研发平台的开发，为项目研究内容的 开展提供有效数据和环境支撑。本项目获得国家自然科学基金重点项目资助，项目执行期 2013.1-2017.12。

从2003年的SARS到2020年初的新冠肺炎，我国和全球各国人民均面临呼吸道疫情或疾病的严重威胁。研究表明，采用RT-PCR核酸检测，样品中病毒含量对诊断准确率至关重要，若采集的病原学样本病毒含量过低（咽拭子或庆液），可能出现假阴性（漏诊）的情况。超细径支气管镜可进入肺部支气管，通过吸引通道采集诊断精准度更高的痰或肺泡灌洗液用千检测，特异性好，为核酸检测假阴性率高的问题提供解决方案。 另外，对重症肺炎患者治疗，如果仅仅采用药物治疗，常难以有效控制感染，尤其是痰液黏稠及咳痰无力的病人，痰液容易阻塞支气管腔，进而易导致肺不张，对机械通气造成很大影响，从而影响病入脱离呼吸机。超细径支气管镜可有效清除气管中的分泌物，对病变肺段进行肺泡灌洗，清除分泌物更彻底，有效缓解呼吸道阻塞症状，提高疗效。因此在急救、病房、手术室及ICU等各部门均可发挥最大作用。 肺癌是世界范围内发病人数和死亡人数最多的癌症，但CT筛查发现的肺外周结节如何活检确诊仍需依赖支气管镜的微创活检。虽然活检是诊断金标准，但因为这些结节位于肺外周，常规支气管镜检查时镜下不可见，又因结节小，盲取活检的成功率很低，因此需借助超细径支气管镜及辅助导航技术引导至目标外周结节，来提高诊断准确率，因此高分辨超细径支气管镜在肺癌诊断和治疗中同样发挥不可或缺的作用。

本发明公开了一种基于改进二维经验模态分解算法的图像去噪方法,首先，将待去噪图像经传统BEMD算法进行自适应分解得到各阶IMF后，对各个IMF的概率密度函数与待去噪图像概率密度函数之间的相似性进行测量，其次，根据相似性测量值区分出噪声主导模态函数与信号主导模态函数的边界索引值,然后，使用小波去噪算法对噪声主导模态函数进行降噪处理得到实际的图像噪声，接着，重构出与原图像具有相同信噪比的多幅图像后对其累加求平均、实现将噪声压缩到低阶IMF中，最后，使用BEMD?DT对该平均图像进行去噪处理。通过本发明方法对图像进行去噪，取得效果均好于小波降噪以及传统BEMD等降噪方法的去噪效果。

本发明公开一种多模态信息融合的足球视频事件检测与语义标注方法，包括：利用潜在语义分析方法检测互联网赛况报道文本描述语句的事件类型；检测足球视频中级语义对象，划分场地区域并进行攻防转换析，确定视频事件片段的边界；根据中圈和哨声检测结果确定比赛开始时间，利用贝叶斯网络实现攻防片段的初始语义分类；在文本描述中的粗粒度时间信息的约束下，根据文本和视频片段的语义同步文本描述和视频事件，实现足球视频事件的语义标注。本发明方法融合互联网文本信息和视频内在视听特征分析足球视频，提高了视频事件及其边界检测的准确率，实

武汉大学张永军教授项目组在国际上首次提出摄影测量遥感的科学概念，构建了多模态卫星影像一体化摄影测量遥感智能处理技术体系，突破了匹配干扰地物快速智能分割、语义辅助几何处理与大范围影像镶嵌合成、地物信息智能提取等关键技术，成功研制出我国首套多模态卫星影像一体化摄影测量遥感智能处理系统MIPS。 一、项目分类 关键核心技术突破 二、成果简介 武汉大学张永军教授项目组在国际上首次提出摄影测量遥感的科学概念，构建了多模态卫星影像一体化摄影测量遥感智能处理技术体系，突破了匹配干扰地物快速智能分割、语义辅助几何处理与大范围影像镶嵌合成、地物信息智能提取等关键技术，成功研制出我国首套多模态卫星影像一体化摄影测量遥感智能处理系统MIPS，相关技术理论《多模态卫星影像一体化摄影测量遥感智能处理技术及应用》2021年荣获测绘科技进步特等奖。 技术特色： (1) 首次提出基于人工智能技术的多模态卫星影像语义分割与几何处理融合新理论。创建了卫星影像跨域稳健语义分割技术，通过自适应增量优化提升深度分割网络模型的迁移性和普适性，保证多类型地物语义分割的时效性、容错性、稳定性和区域一致性。 (2) 通过语义分割结果全自动进行多源地理信息控制点粗差剔除，实现超大范围多模态影像精准几何处理；提出辐射不变特征变换算法进行多模态影像高可靠性匹配；单台机器2.5分钟可完成8000景卫星影像的并行区域网平差，大幅提高了自动化处理精度和效率。 (3) 突破了基于深度学习的多视遥感影像三维地形及大范围合成影像智能生成技术，采用物方半全局优化提升困难区域的密集匹配精度，并在语义分割结果的辅助下进行大范围遥感影像无缝镶嵌合成。 (4) 基于深度学习进行建筑物、道路、农作物等典型地物目标语义信息智能提取；基于多尺度语义分割网络融合经验知识实现建筑物矢量边缘精确提取；结合语义分割和多起点中心线追踪优化提取道路网拓扑矢量；基于3D卷积和注意力机制实现多类农作物精细分类及其时空特征智能提取。 (5) 构建了全新的多模态卫星遥感影像几何语义一体化智能处理技术体系，研制出我国首套自主产权的多模态卫星影像一体化摄影测量遥感智能处理软件系统MIPS，其数据处理效果和效率均有明显优势，显著提升了融合处理的精准度和智能化水平。 先进性 MIPS具备快速语义分割、语义辅助精准几何处理、三维地形提取与多影像时序合成、地物语义信息智能提取等特色功能。系统采用最新的卫星影像摄影测量处理、多源影像融合、语义信息提取的相关理论与方法，结合先进的计算机技术、CPU/GPU两级加速并行处理及深度学习技术，处理效果和效率均明显优于国内外同类软件。例如单机情况下19小时即可完成1551景2米分辨率卫星影像的全自动处理，包括云区检测、影像融合、影像匹配、区域网平差、正射影像纠正等全部处理流程。语义分割结果约束的立体卫星影像区域网平差自动化程度和精度均显著提升，例如在1:1万基础测绘产品DEM/DOM的辅助下，高分七号立体卫星影像的全自动处理高程精度从2.6米大幅提升至0.8米以内，镶嵌接边精度优于1像素。

中试阶段/n该项目利用体外高温胁迫连续传代180代将牛支原体临床分离株HB0801致弱，获得致弱株系列，通过牛体试验证实，第150代致弱株（F150）可作为疫苗株。还利用细菌发酵技术，筛选与优化将牛支原体的活菌数由109CFU/ml提高至1010CFU/ml，提高了生产效率，降低了生产成本。