从2003年的SARS到2020年初的新冠肺炎，我国和全球各国人民均面临呼吸道疫情或疾病的严重威胁。研究表明，采用RT-PCR核酸检测，样品中病毒含量对诊断准确率至关重要，若采集的病原学样本病毒含量过低（咽拭子或庆液），可能出现假阴性（漏诊）的情况。超细径支气管镜可进入肺部支气管，通过吸引通道采集诊断精准度更高的痰或肺泡灌洗液用千检测，特异性好，为核酸检测假阴性率高的问题提供解决方案。 另外，对重症肺炎患者治疗，如果仅仅采用药物治疗，常难以有效控制感染，尤其是痰液黏稠及咳痰无力的病人，痰液容易阻塞支气管腔，进而易导致肺不张，对机械通气造成很大影响，从而影响病入脱离呼吸机。超细径支气管镜可有效清除气管中的分泌物，对病变肺段进行肺泡灌洗，清除分泌物更彻底，有效缓解呼吸道阻塞症状，提高疗效。因此在急救、病房、手术室及ICU等各部门均可发挥最大作用。 肺癌是世界范围内发病人数和死亡人数最多的癌症，但CT筛查发现的肺外周结节如何活检确诊仍需依赖支气管镜的微创活检。虽然活检是诊断金标准，但因为这些结节位于肺外周，常规支气管镜检查时镜下不可见，又因结节小，盲取活检的成功率很低，因此需借助超细径支气管镜及辅助导航技术引导至目标外周结节，来提高诊断准确率，因此高分辨超细径支气管镜在肺癌诊断和治疗中同样发挥不可或缺的作用。

首次提出使用Wi-Fi信道状态信息进行睡眠质量评估，在日常居家环 境下进行实验，睡眠分期的准确率优于智能手环等便携式睡眠监测设备。 从Wi-Fi信道状态信息到睡眠分期，本系统解决了两大问题：一是如何从 信道状态信息中提取体动和呼吸模式，二是如何构建普适性与个性化相结 合的睡眠阶段识别模型，刻画不同睡眠阶段与体动、呼吸模式之间的关联 关系。针对问题一，信道状态信息本身有许多噪音，对呼吸模式的提取有 很大的影响，本系统设计了基于主成分分析的去噪方法，能

武汉大学张永军教授项目组在国际上首次提出摄影测量遥感的科学概念，构建了多模态卫星影像一体化摄影测量遥感智能处理技术体系，突破了匹配干扰地物快速智能分割、语义辅助几何处理与大范围影像镶嵌合成、地物信息智能提取等关键技术，成功研制出我国首套多模态卫星影像一体化摄影测量遥感智能处理系统MIPS。 一、项目分类 关键核心技术突破 二、成果简介 武汉大学张永军教授项目组在国际上首次提出摄影测量遥感的科学概念，构建了多模态卫星影像一体化摄影测量遥感智能处理技术体系，突破了匹配干扰地物快速智能分割、语义辅助几何处理与大范围影像镶嵌合成、地物信息智能提取等关键技术，成功研制出我国首套多模态卫星影像一体化摄影测量遥感智能处理系统MIPS，相关技术理论《多模态卫星影像一体化摄影测量遥感智能处理技术及应用》2021年荣获测绘科技进步特等奖。 技术特色： (1) 首次提出基于人工智能技术的多模态卫星影像语义分割与几何处理融合新理论。创建了卫星影像跨域稳健语义分割技术，通过自适应增量优化提升深度分割网络模型的迁移性和普适性，保证多类型地物语义分割的时效性、容错性、稳定性和区域一致性。 (2) 通过语义分割结果全自动进行多源地理信息控制点粗差剔除，实现超大范围多模态影像精准几何处理；提出辐射不变特征变换算法进行多模态影像高可靠性匹配；单台机器2.5分钟可完成8000景卫星影像的并行区域网平差，大幅提高了自动化处理精度和效率。 (3) 突破了基于深度学习的多视遥感影像三维地形及大范围合成影像智能生成技术，采用物方半全局优化提升困难区域的密集匹配精度，并在语义分割结果的辅助下进行大范围遥感影像无缝镶嵌合成。 (4) 基于深度学习进行建筑物、道路、农作物等典型地物目标语义信息智能提取；基于多尺度语义分割网络融合经验知识实现建筑物矢量边缘精确提取；结合语义分割和多起点中心线追踪优化提取道路网拓扑矢量；基于3D卷积和注意力机制实现多类农作物精细分类及其时空特征智能提取。 (5) 构建了全新的多模态卫星遥感影像几何语义一体化智能处理技术体系，研制出我国首套自主产权的多模态卫星影像一体化摄影测量遥感智能处理软件系统MIPS，其数据处理效果和效率均有明显优势，显著提升了融合处理的精准度和智能化水平。 先进性 MIPS具备快速语义分割、语义辅助精准几何处理、三维地形提取与多影像时序合成、地物语义信息智能提取等特色功能。系统采用最新的卫星影像摄影测量处理、多源影像融合、语义信息提取的相关理论与方法，结合先进的计算机技术、CPU/GPU两级加速并行处理及深度学习技术，处理效果和效率均明显优于国内外同类软件。例如单机情况下19小时即可完成1551景2米分辨率卫星影像的全自动处理，包括云区检测、影像融合、影像匹配、区域网平差、正射影像纠正等全部处理流程。语义分割结果约束的立体卫星影像区域网平差自动化程度和精度均显著提升，例如在1:1万基础测绘产品DEM/DOM的辅助下，高分七号立体卫星影像的全自动处理高程精度从2.6米大幅提升至0.8米以内，镶嵌接边精度优于1像素。

本发明公开了一种基于李群论的多模态情感识别方法，包括以 下步骤：获取视频，并提取视频帧中图像区域的高斯型特征描述子， 基于高斯型特征描述子对视频中的图像区域进行跟踪，根据视频子序 列构建 ARMA 模型获取 ARMA 模型间的距离，根据 ARMA 模型之间 的距离构建核函数，并进行情感表达分类，根据人体、脸部和手部的 情感类别概率对人进行情感识别。本发明根据视频中所包含的人体姿 态运动信息、手势和脸部表情信息来判断人的情感状态，是一个将视 频数据映射到人体运动特征、手势特征和脸部表情特征，再从人体运 动特征空间和脸部表情特征映射到状态空间的过程，并提出利用李群 论进行多模态情感识别，提高模型进行情感识别的精确性。

本发明公开了一种多模态生物力学显微镜及测量方法，包括从上至下依次设置的透射光源、光子晶体水凝胶薄膜、载物台、反射光源、成像组件；光子晶体水凝胶薄膜置于载物台上并保持悬空状态，使得透射光可以穿透薄膜到达成像组件，反射光经所述薄膜反射后到达成像组件；当待测细胞置于光子晶体水凝胶薄膜上后，支撑所述待测细胞的光子晶体水凝胶薄膜发生形变，使得光子晶体水凝胶薄膜上的反射光方向发生改变，成像组件收集反射光和透射光并进行成像，得到表征细胞牵引力的阴影图像。本发明能够对细胞牵引力进行实时测量，实现传统图像信息与力学信息的多模态成像。

本成果提出一种无感化智能睡眠监测装备。该装备旨在针对目前医疗康复行业所需检测的人体心率、呼吸、体温、动作模态三种体征进行多功能集成并进行精密测量。在分别构筑三种底层功能感知结构的基础上，对单一功能结构进行多功能集成研究并构建与之配套的传感电路系统及数据可视化界面，不断优化柔性功能感知器件组分、结构、性能实现对人体三种检测体征的无感化精密测量。针对失眠/睡眠呼吸暂停综合征/普通人，实现人体生命体征信号精密测量，输出测量图谱/报告。 图1 产品功能简介 该成果基于多材料、高灵敏的传感单元，通过高分辨率、高灵敏度、稳定无扰化的生理信号采集系统采集信息，借助云-边-端协同、深度学习等人工智能领域技术，三位一体形成疾病症状可量化的智能评估体系，对人体实现连续、移动状态下的心率、呼吸、体温、动作模态等多维度的无感式测量。面向不同群体，装备可以在无束缚状态下对人体进行全天候的监测并提供预警服务，同时为临床医生和护士提供有价值的数据信息，辅助诊断及护理。实现睡眠质量监测与远程监护管理，最终打造“人-机-环”共融的睡眠环境生态。 图2 成果核心关键技术简易图示 【技术优势】 （1）柔性纤维新材料与智能织物计算的结合赋予智能健康监测系统无感性及准确性，实现精密测量；对比医用心电监护仪，该装置可以更快发现呼吸暂停异常。 （2）形成大纤维闭环产业链，从材料、纺丝、纺纱到织造的全流程柔性感知纤维制备流程，为智能健康监测系统的产业化奠定坚实基础，且具备“感传算”一体化技术全覆盖的多样化服务，惠及民生。 （3）该装置可进行全天候的监测，并提供预警服务，为临床医生和护士提供有价值的数据信息，辅助诊断及护理。

本发明提供了一种模态试验中多传感器附加质量消除方法，推导模态试验中多传感器质量影响消除公式，确定模态试验中布置的传感器个数及消除传感器质量的顺序，基于实测的频响函数根据消除公式逐一计算消除各传感器质量影响的频响函数。本发明首先基于Ｓｈｅｒｍａｎ?Ｍｏｒｒｉｓｏｎ公式推导传感器质量影响消除公式，根据公式实测所需的频响函数，代入公式依次逐一消除，最终实现多传感器质量消除。本发明实现了消除模态试验接触式测量方法中传感器附加质量造成的测量误差，通过对实测频响函数信号的处理消除了多传感器质量对频响函数的不利影响，具有实际工程意义。

多模态医学影像信息处理与分析，具有重大的应用背景，是国家和社会当 前高度重视的研究领域之一。 本项目拟基于机器学习方法，主要研究医学影像的特征描述、设备无关性 的特征评价与特征选择、基于内容的多模态医学影像检索、医学影像信息挖掘、 参考库建设与算法辅助研究平台的设计与开发等内容。研究目标为： （1）建立统一的特征描述模型，实现跨模态医学影像的统一特征描述； （2）提出有效解决特征提取层面上医学影像信息处理与分析算法的设备无 关性问题的通用框架； （3）在医学影像标注数据有限、数据库为海量等条件下，实现高效率单模 50 态影像检索，有效提高多模态、跨模态医学影像检索的精度，实现用户友好的 检索结果展示； （4）从结构复杂的多模态医学影像数据中，挖掘有用的知识，构建有效的 辅助诊断模型、实现个人疾病风险预警； （5）完成首期参考库建设与算法辅助研发平台的开发，为项目研究内容的 开展提供有效数据和环境支撑。本项目获得国家自然科学基金重点项目资助，项目执行期 2013.1-2017.12。