技术成熟度：技术突破 1.空间目标及星图光学探测仿真系统。由于空间目标探测真实数据获取成本较高，且数据量较少，结果验证困难，团队开发了空间目标及星图光学探测仿真系统。此工作以软件形式呈现，以友好的人机交互界面，根据用户的实际系统参数，提供准确可靠地提供当前时刻空间探测仿真图像，该软件前期经过与stk仿真软件结果比对验证其坐标的准确性，与在轨实测图像进行比对验证其仿真效果的可靠性。目前该软件已经在项目开发过程中广泛使用，为提高系统开发效率、验证算法性能提供有效支撑。 2.空间目标探测感知关键技术及算法体系。该成果以理论及软件开发包形式呈现，团队具备多年的空间探测相关开发经验，并将相关理论及算法构建软件开发包。该SDK开发包基于C++开发，具有较好的泛化能力，具有坐标描述转换、预处理、目标提取、星表制备、星图识别、光学标定、定位定姿定轨等功能，可支撑各层次的空间探测相关开发需求。目前团队基于此SDK开发的顶层软件，采用目标TLE数据库匹配的解决方法，已经完成长光奥闰光电科技有限公司地基望远镜空间目标的感知识别及长光卫星技术股份有限公司的星敏感器在轨图像空间目标自动提取与识别，后续还将采用更多的数据验证完善提升本系统的技术成熟度。 意向开展成果转化的前提条件： 1、长春长光奥闰光电科技有限公司等测站望远镜生产企业，利用本项目的共性技术，实现地基测站的空间目标自动探测感知，为空间安全提供支撑服务。 2、长光卫星技术股份有限公司、吉天星舟空间技术有限公司等遥感卫星公司，通过本技术的转化，可以利用星上光学载荷构建空间态势感知平台，为自身卫星安全提供保障、为国家及其他航天企业的空间安全需求提供数据支撑服务。另外可以在空间光学载荷开发过程中应用空间目标及星图光学探测仿真系统，对光学载荷的精度和鲁棒性进行评估和测试。

本发明公开了一种基于多感知数据融合的人机自然交互系统，包括MEMS手臂跟踪装置、视觉跟踪装置，以及安装在操作者的手掌上的力反馈装置，上述各装置由PC终端控制，PC终端包括手臂运动解算模块、图像处理模块、力学解算模块和虚拟场景渲染模块；虚拟场景渲染模块根据手臂运动轨迹和手指运动轨迹生成虚拟手臂和手指，力学解算模块根据虚拟手指与虚拟物体的碰触信息，计算操作者当前状态下应得到的期望反馈力矢量；本发明可满足手臂大范围运动情况下的手臂运动轨迹的跟踪要求；其次，可通过图像信息测量操作者手指的运动轨迹，可精确测量手指上多个关节的角度；再者，可为操作者提供力反馈和虚拟场景的视觉反馈，增强系统的临场感、交互性。

本发明公开了一种基于李群论的多模态情感识别方法，包括以 下步骤：获取视频，并提取视频帧中图像区域的高斯型特征描述子， 基于高斯型特征描述子对视频中的图像区域进行跟踪，根据视频子序 列构建 ARMA 模型获取 ARMA 模型间的距离，根据 ARMA 模型之间 的距离构建核函数，并进行情感表达分类，根据人体、脸部和手部的 情感类别概率对人进行情感识别。本发明根据视频中所包含的人体姿 态运动信息、手势和脸部表情信息来判断人的情感状态，是一个将视 频数据映射到人体运动特征、手势特征和脸部表情特征，再从人体运 动特征空间和脸部表情特征映射到状态空间的过程，并提出利用李群 论进行多模态情感识别，提高模型进行情感识别的精确性。

本发明公开了一种多模态生物力学显微镜及测量方法，包括从上至下依次设置的透射光源、光子晶体水凝胶薄膜、载物台、反射光源、成像组件；光子晶体水凝胶薄膜置于载物台上并保持悬空状态，使得透射光可以穿透薄膜到达成像组件，反射光经所述薄膜反射后到达成像组件；当待测细胞置于光子晶体水凝胶薄膜上后，支撑所述待测细胞的光子晶体水凝胶薄膜发生形变，使得光子晶体水凝胶薄膜上的反射光方向发生改变，成像组件收集反射光和透射光并进行成像，得到表征细胞牵引力的阴影图像。本发明能够对细胞牵引力进行实时测量，实现传统图像信息与力学信息的多模态成像。

本发明提供了一种模态试验中多传感器附加质量消除方法，推导模态试验中多传感器质量影响消除公式，确定模态试验中布置的传感器个数及消除传感器质量的顺序，基于实测的频响函数根据消除公式逐一计算消除各传感器质量影响的频响函数。本发明首先基于Ｓｈｅｒｍａｎ?Ｍｏｒｒｉｓｏｎ公式推导传感器质量影响消除公式，根据公式实测所需的频响函数，代入公式依次逐一消除，最终实现多传感器质量消除。本发明实现了消除模态试验接触式测量方法中传感器附加质量造成的测量误差，通过对实测频响函数信号的处理消除了多传感器质量对频响函数的不利影响，具有实际工程意义。

多模态医学影像信息处理与分析，具有重大的应用背景，是国家和社会当 前高度重视的研究领域之一。 本项目拟基于机器学习方法，主要研究医学影像的特征描述、设备无关性 的特征评价与特征选择、基于内容的多模态医学影像检索、医学影像信息挖掘、 参考库建设与算法辅助研究平台的设计与开发等内容。研究目标为： （1）建立统一的特征描述模型，实现跨模态医学影像的统一特征描述； （2）提出有效解决特征提取层面上医学影像信息处理与分析算法的设备无 关性问题的通用框架； （3）在医学影像标注数据有限、数据库为海量等条件下，实现高效率单模 50 态影像检索，有效提高多模态、跨模态医学影像检索的精度，实现用户友好的 检索结果展示； （4）从结构复杂的多模态医学影像数据中，挖掘有用的知识，构建有效的 辅助诊断模型、实现个人疾病风险预警； （5）完成首期参考库建设与算法辅助研发平台的开发，为项目研究内容的 开展提供有效数据和环境支撑。本项目获得国家自然科学基金重点项目资助，项目执行期 2013.1-2017.12。

从2003年的SARS到2020年初的新冠肺炎，我国和全球各国人民均面临呼吸道疫情或疾病的严重威胁。研究表明，采用RT-PCR核酸检测，样品中病毒含量对诊断准确率至关重要，若采集的病原学样本病毒含量过低（咽拭子或庆液），可能出现假阴性（漏诊）的情况。超细径支气管镜可进入肺部支气管，通过吸引通道采集诊断精准度更高的痰或肺泡灌洗液用千检测，特异性好，为核酸检测假阴性率高的问题提供解决方案。 另外，对重症肺炎患者治疗，如果仅仅采用药物治疗，常难以有效控制感染，尤其是痰液黏稠及咳痰无力的病人，痰液容易阻塞支气管腔，进而易导致肺不张，对机械通气造成很大影响，从而影响病入脱离呼吸机。超细径支气管镜可有效清除气管中的分泌物，对病变肺段进行肺泡灌洗，清除分泌物更彻底，有效缓解呼吸道阻塞症状，提高疗效。因此在急救、病房、手术室及ICU等各部门均可发挥最大作用。 肺癌是世界范围内发病人数和死亡人数最多的癌症，但CT筛查发现的肺外周结节如何活检确诊仍需依赖支气管镜的微创活检。虽然活检是诊断金标准，但因为这些结节位于肺外周，常规支气管镜检查时镜下不可见，又因结节小，盲取活检的成功率很低，因此需借助超细径支气管镜及辅助导航技术引导至目标外周结节，来提高诊断准确率，因此高分辨超细径支气管镜在肺癌诊断和治疗中同样发挥不可或缺的作用。

1、复杂作业环境下多参数的智能感知技术；2、人工智能中枢控制系统实现；3、智能电液控制技术；4、终端轨迹规划及精确控制技术；5、自动扫描、分析技术与系统协调作业；6、基于影像分析的地面监控系统和远程操作系统实现；7、井下多传感信息融合及检测技术；8、井下网络数据传输系统平台构建；9、无线与有线光缆通信异构融合与组网技术；10、地面井下信息互通，以及与矿井综合自动化平台的高效融合技术

本发明公开一种多模态信息融合的足球视频事件检测与语义标注方法，包括：利用潜在语义分析方法检测互联网赛况报道文本描述语句的事件类型；检测足球视频中级语义对象，划分场地区域并进行攻防转换析，确定视频事件片段的边界；根据中圈和哨声检测结果确定比赛开始时间，利用贝叶斯网络实现攻防片段的初始语义分类；在文本描述中的粗粒度时间信息的约束下，根据文本和视频片段的语义同步文本描述和视频事件，实现足球视频事件的语义标注。本发明方法融合互联网文本信息和视频内在视听特征分析足球视频，提高了视频事件及其边界检测的准确率，实

武汉大学张永军教授项目组在国际上首次提出摄影测量遥感的科学概念，构建了多模态卫星影像一体化摄影测量遥感智能处理技术体系，突破了匹配干扰地物快速智能分割、语义辅助几何处理与大范围影像镶嵌合成、地物信息智能提取等关键技术，成功研制出我国首套多模态卫星影像一体化摄影测量遥感智能处理系统MIPS。 一、项目分类 关键核心技术突破 二、成果简介 武汉大学张永军教授项目组在国际上首次提出摄影测量遥感的科学概念，构建了多模态卫星影像一体化摄影测量遥感智能处理技术体系，突破了匹配干扰地物快速智能分割、语义辅助几何处理与大范围影像镶嵌合成、地物信息智能提取等关键技术，成功研制出我国首套多模态卫星影像一体化摄影测量遥感智能处理系统MIPS，相关技术理论《多模态卫星影像一体化摄影测量遥感智能处理技术及应用》2021年荣获测绘科技进步特等奖。 技术特色： (1) 首次提出基于人工智能技术的多模态卫星影像语义分割与几何处理融合新理论。创建了卫星影像跨域稳健语义分割技术，通过自适应增量优化提升深度分割网络模型的迁移性和普适性，保证多类型地物语义分割的时效性、容错性、稳定性和区域一致性。 (2) 通过语义分割结果全自动进行多源地理信息控制点粗差剔除，实现超大范围多模态影像精准几何处理；提出辐射不变特征变换算法进行多模态影像高可靠性匹配；单台机器2.5分钟可完成8000景卫星影像的并行区域网平差，大幅提高了自动化处理精度和效率。 (3) 突破了基于深度学习的多视遥感影像三维地形及大范围合成影像智能生成技术，采用物方半全局优化提升困难区域的密集匹配精度，并在语义分割结果的辅助下进行大范围遥感影像无缝镶嵌合成。 (4) 基于深度学习进行建筑物、道路、农作物等典型地物目标语义信息智能提取；基于多尺度语义分割网络融合经验知识实现建筑物矢量边缘精确提取；结合语义分割和多起点中心线追踪优化提取道路网拓扑矢量；基于3D卷积和注意力机制实现多类农作物精细分类及其时空特征智能提取。 (5) 构建了全新的多模态卫星遥感影像几何语义一体化智能处理技术体系，研制出我国首套自主产权的多模态卫星影像一体化摄影测量遥感智能处理软件系统MIPS，其数据处理效果和效率均有明显优势，显著提升了融合处理的精准度和智能化水平。 先进性 MIPS具备快速语义分割、语义辅助精准几何处理、三维地形提取与多影像时序合成、地物语义信息智能提取等特色功能。系统采用最新的卫星影像摄影测量处理、多源影像融合、语义信息提取的相关理论与方法，结合先进的计算机技术、CPU/GPU两级加速并行处理及深度学习技术，处理效果和效率均明显优于国内外同类软件。例如单机情况下19小时即可完成1551景2米分辨率卫星影像的全自动处理，包括云区检测、影像融合、影像匹配、区域网平差、正射影像纠正等全部处理流程。语义分割结果约束的立体卫星影像区域网平差自动化程度和精度均显著提升，例如在1:1万基础测绘产品DEM/DOM的辅助下，高分七号立体卫星影像的全自动处理高程精度从2.6米大幅提升至0.8米以内，镶嵌接边精度优于1像素。