本发明公开了一种基于多感知数据融合的人机自然交互系统，包括MEMS手臂跟踪装置、视觉跟踪装置，以及安装在操作者的手掌上的力反馈装置，上述各装置由PC终端控制，PC终端包括手臂运动解算模块、图像处理模块、力学解算模块和虚拟场景渲染模块；虚拟场景渲染模块根据手臂运动轨迹和手指运动轨迹生成虚拟手臂和手指，力学解算模块根据虚拟手指与虚拟物体的碰触信息，计算操作者当前状态下应得到的期望反馈力矢量；本发明可满足手臂大范围运动情况下的手臂运动轨迹的跟踪要求；其次，可通过图像信息测量操作者手指的运动轨迹，可精确测量手指上多个关节的角度；再者，可为操作者提供力反馈和虚拟场景的视觉反馈，增强系统的临场感、交互性。

场景物联：内置物联网关，可以接入无线物联设备，实现灯光、风扇、空调、窗帘等用电设备管控，同时支持无线麦克风接入功能，实现教室无线扩声，一师一麦，根据场景进行自定义。 校园广播：支持图片、音频、视频广播播放功能，可将融合平台推送的任务信息进行解码播放，任意终端收到的任务信息以后自动运行播放。 课堂直播：主讲教室进行一键开启直播功能，听课教室设备自动开启，学生可同步观看主讲教室的推送的课程内容。 远程对讲、报修自如：内置IP对讲模块，通过融合平台实现语音呼叫、远程监听、监控联动等功能，在线完成督课巡课；本地实现一键故障报修。

内置工业电脑，强劲性能，搭载HDBaseT端口，支持信号传输，性能稳定，运行流畅，功耗更低； 音视频解码，定时推送，可将融合管理平台的音视频任务进行解码播放，任意终端收到任务信息都会自动运行播放，任务结束后设备自动关闭，实现自动化管理； 智能联动：内置无线物联网关，可以接入无线物联设备；支持无线麦克风接入，实现教室无线扩声； 反向扫码，语音对讲功能：对接校园IC 卡，可插卡、刷卡、扫码或者反向扫码开机

轻量化设计，极简操作：轻量化设计，一键开关所有多媒体设备；支持与麦克风智能连接； 音视频解码，定时推送，智能化管理； 智能联动：内置无线物联网关，可管理灯光、空调、风扇、窗帘等用电设备； 强电管理，能耗监测。

工业互联网实现工业现场数据采集、监控管理、数据上云、进行云应用。硬件平台完成材料抓取、模具加工、包装检测、成品入库等工艺过程，模拟模具加工，为工业互联网云平台应用及工业APP开发提供真实数据支撑。

该方案集中体现代工业生产流水线加工系统，将物料供给、工件检测、加工、搬运、立体存储等以及生产监控与管理等知识全面展示在学生面前。整个系统由多个功能站有机组合而成，而各功能站又可以由多个子功能模块组成，可根据实际需求重新组合，为在校学生提供一个符合职业角色的先进工业技术综合实训环境。

一种基于非监督特征学习的高分辨率遥感影像场景分类方法，包括对输入的原始高分辨率遥感图像 进行划分得到场景，从每个场景中随机地提取若干个训练图像块，将训练图像块聚集起来做预处理操作; 计算所有训练图像块的低维流形表示，聚类得到一组聚类中心;对每一幅场景密集采样得到局部图像块， 对每个局部图像块做预处理操作后映射到相同的低维流形空间中，然后进行编码获得场景的所有局部特 征;将所有场景的局部特征集合起来进行特征量化，统计每一幅场景的局部特征直方图，得到场景的全 局特征表达;随机挑选若干幅场景作为训练样本，由分类器得到每一幅场景的预测类别标号，完成原始 高分辨率遥感场景的标注任务。

本发明公开了一种结合全球 DEM 与立体视觉的卫星影像云检测方法，利用密集匹配的 DSM 数据 和现有的全球 DEM 数据 SRTM，结合高程与影像灰度信息提取云区域。主要步骤如下：通过多影像多 匹配基元方法获得模型匹配的 M-DSM，基于特征线的方法配准 M-DSM 与 SRTM，通过高程差值获得 初始种子点，然后把种子点计算到像方，结合影像的灰度信息提取出云区域。本发明在有大面积雪的影 像，能有效的避免雪的干扰，准确地检测出云区，提高了遥感影像的利用率。 

用于彩色数字影像系统的色适应变换寻优方法及系统，包括输入影像客体各样本可见光范围光谱反 射率数据；计算各样本在目标光源照明条件下色度信息，求解各样本在各种模拟光源照明条件下色度信 息；利用各种色适应变换方法预测色适应变换后在目标光源照明条件下的色度信息；计算各模拟光源下 各待寻优的色适应变换方法对各样本的色适应变换平均精度；构建 BP 神经网络对模拟光源的相对光谱 功率分布曲线与色适应变换平均精度之间关系进行拟合；对于任意光源，利用各条 BP

武汉大学张永军教授项目组在国际上首次提出摄影测量遥感的科学概念，构建了多模态卫星影像一体化摄影测量遥感智能处理技术体系，突破了匹配干扰地物快速智能分割、语义辅助几何处理与大范围影像镶嵌合成、地物信息智能提取等关键技术，成功研制出我国首套多模态卫星影像一体化摄影测量遥感智能处理系统MIPS。 一、项目分类 关键核心技术突破 二、成果简介 武汉大学张永军教授项目组在国际上首次提出摄影测量遥感的科学概念，构建了多模态卫星影像一体化摄影测量遥感智能处理技术体系，突破了匹配干扰地物快速智能分割、语义辅助几何处理与大范围影像镶嵌合成、地物信息智能提取等关键技术，成功研制出我国首套多模态卫星影像一体化摄影测量遥感智能处理系统MIPS，相关技术理论《多模态卫星影像一体化摄影测量遥感智能处理技术及应用》2021年荣获测绘科技进步特等奖。 技术特色： (1) 首次提出基于人工智能技术的多模态卫星影像语义分割与几何处理融合新理论。创建了卫星影像跨域稳健语义分割技术，通过自适应增量优化提升深度分割网络模型的迁移性和普适性，保证多类型地物语义分割的时效性、容错性、稳定性和区域一致性。 (2) 通过语义分割结果全自动进行多源地理信息控制点粗差剔除，实现超大范围多模态影像精准几何处理；提出辐射不变特征变换算法进行多模态影像高可靠性匹配；单台机器2.5分钟可完成8000景卫星影像的并行区域网平差，大幅提高了自动化处理精度和效率。 (3) 突破了基于深度学习的多视遥感影像三维地形及大范围合成影像智能生成技术，采用物方半全局优化提升困难区域的密集匹配精度，并在语义分割结果的辅助下进行大范围遥感影像无缝镶嵌合成。 (4) 基于深度学习进行建筑物、道路、农作物等典型地物目标语义信息智能提取；基于多尺度语义分割网络融合经验知识实现建筑物矢量边缘精确提取；结合语义分割和多起点中心线追踪优化提取道路网拓扑矢量；基于3D卷积和注意力机制实现多类农作物精细分类及其时空特征智能提取。 (5) 构建了全新的多模态卫星遥感影像几何语义一体化智能处理技术体系，研制出我国首套自主产权的多模态卫星影像一体化摄影测量遥感智能处理软件系统MIPS，其数据处理效果和效率均有明显优势，显著提升了融合处理的精准度和智能化水平。 先进性 MIPS具备快速语义分割、语义辅助精准几何处理、三维地形提取与多影像时序合成、地物语义信息智能提取等特色功能。系统采用最新的卫星影像摄影测量处理、多源影像融合、语义信息提取的相关理论与方法，结合先进的计算机技术、CPU/GPU两级加速并行处理及深度学习技术，处理效果和效率均明显优于国内外同类软件。例如单机情况下19小时即可完成1551景2米分辨率卫星影像的全自动处理，包括云区检测、影像融合、影像匹配、区域网平差、正射影像纠正等全部处理流程。语义分割结果约束的立体卫星影像区域网平差自动化程度和精度均显著提升，例如在1:1万基础测绘产品DEM/DOM的辅助下，高分七号立体卫星影像的全自动处理高程精度从2.6米大幅提升至0.8米以内，镶嵌接边精度优于1像素。