本发明公开了一种基于多感知数据融合的人机自然交互系统，包括MEMS手臂跟踪装置、视觉跟踪装置，以及安装在操作者的手掌上的力反馈装置，上述各装置由PC终端控制，PC终端包括手臂运动解算模块、图像处理模块、力学解算模块和虚拟场景渲染模块；虚拟场景渲染模块根据手臂运动轨迹和手指运动轨迹生成虚拟手臂和手指，力学解算模块根据虚拟手指与虚拟物体的碰触信息，计算操作者当前状态下应得到的期望反馈力矢量；本发明可满足手臂大范围运动情况下的手臂运动轨迹的跟踪要求；其次，可通过图像信息测量操作者手指的运动轨迹，可精确测量手指上多个关节的角度；再者，可为操作者提供力反馈和虚拟场景的视觉反馈，增强系统的临场感、交互性。

本发明公开了一种多物理域特征信息融合方法，包括：（1）通过测量工具获取工程事件中所需要的先验信息，去除其中的冗余信息，获得优化的特征信息集；（2）将优化的特征信息集中的每个特征信息值 Xi 转换成区间形式；（3）求取广义隐马尔科夫初始模型；（4）根据获得的广义隐马尔科夫初始模型λ，获取最优模型；（5）求得每个单物理域的最优的广义隐马尔科夫模型，再各单物理域最优模型参数间的耦合关系，合成联合的广义区间后验概率分布，完成获得多物理域特征信息融合。本发明的方法通过广义贝叶斯法则

1、历经十多年的研发，已形成独立建立高精度、工程化的北斗兼容GPS/GLONASS/GALILEO四系统的地基增强系统建设方案，形成了以EarthNetV3.0（中心数据处理软件）和S6535b（多星座基准站接收机）为自主核心产品的产学研一体化成果。 2、网络RTK与实时精密单点定位技术的交叉融合，使未来的地基增强系统将实现大规模NRTK/RTPPP集成处理，从而实现广域动态高精度导航与定位服务。 3、面向手机终端的GNSS高精度动态定位研究将有力促进其在车路协同自动驾驶、智慧城市等领域的深入应用。

紧紧围绕“矿山无线监控系统”、“矿山智能检测装备”方向，有针对性地开展一系列科学研究，形成了一批有较大研究价值的科研成果，“矿用蓄电池机车关键技术研究与应用”获国家能源科技进步二等奖。在光纤传感技术在煤矿安全监测监控方面进行了探索外界信号通过直接改变光纤的传输特征参量对光波实施调制的本征型光纤传感器理论，研究取得了丰硕的成果，与中国矿业大学合作，共同研究科技部支撑计划项目-煤矿突水、火灾等重大事故防治关键技术及装备研发项目,发表相关学术论文 35 篇，申报发明专利 11 项，授权发明专利 1 项，授权实用新型专利 20 余项；面向深井通信的弱链路可靠传输问题，研究矿山井下信道时变机理和统计特性，建立时频码空多维复用无线传输理论框架和多维联合优化设计方法，揭示电磁波在矿山井下传播规律，与其相关的理论研究《基于相长干扰的煤矿井下物联网感知层时间同步机制研究》、《基于通用特征函数法的电大复杂目标宽带电磁散射特性研究》获 2014年国家自然基金资助。

武汉大学张永军教授项目组在国际上首次提出摄影测量遥感的科学概念，构建了多模态卫星影像一体化摄影测量遥感智能处理技术体系，突破了匹配干扰地物快速智能分割、语义辅助几何处理与大范围影像镶嵌合成、地物信息智能提取等关键技术，成功研制出我国首套多模态卫星影像一体化摄影测量遥感智能处理系统MIPS。 一、项目分类 关键核心技术突破 二、成果简介 武汉大学张永军教授项目组在国际上首次提出摄影测量遥感的科学概念，构建了多模态卫星影像一体化摄影测量遥感智能处理技术体系，突破了匹配干扰地物快速智能分割、语义辅助几何处理与大范围影像镶嵌合成、地物信息智能提取等关键技术，成功研制出我国首套多模态卫星影像一体化摄影测量遥感智能处理系统MIPS，相关技术理论《多模态卫星影像一体化摄影测量遥感智能处理技术及应用》2021年荣获测绘科技进步特等奖。 技术特色： (1) 首次提出基于人工智能技术的多模态卫星影像语义分割与几何处理融合新理论。创建了卫星影像跨域稳健语义分割技术，通过自适应增量优化提升深度分割网络模型的迁移性和普适性，保证多类型地物语义分割的时效性、容错性、稳定性和区域一致性。 (2) 通过语义分割结果全自动进行多源地理信息控制点粗差剔除，实现超大范围多模态影像精准几何处理；提出辐射不变特征变换算法进行多模态影像高可靠性匹配；单台机器2.5分钟可完成8000景卫星影像的并行区域网平差，大幅提高了自动化处理精度和效率。 (3) 突破了基于深度学习的多视遥感影像三维地形及大范围合成影像智能生成技术，采用物方半全局优化提升困难区域的密集匹配精度，并在语义分割结果的辅助下进行大范围遥感影像无缝镶嵌合成。 (4) 基于深度学习进行建筑物、道路、农作物等典型地物目标语义信息智能提取；基于多尺度语义分割网络融合经验知识实现建筑物矢量边缘精确提取；结合语义分割和多起点中心线追踪优化提取道路网拓扑矢量；基于3D卷积和注意力机制实现多类农作物精细分类及其时空特征智能提取。 (5) 构建了全新的多模态卫星遥感影像几何语义一体化智能处理技术体系，研制出我国首套自主产权的多模态卫星影像一体化摄影测量遥感智能处理软件系统MIPS，其数据处理效果和效率均有明显优势，显著提升了融合处理的精准度和智能化水平。 先进性 MIPS具备快速语义分割、语义辅助精准几何处理、三维地形提取与多影像时序合成、地物语义信息智能提取等特色功能。系统采用最新的卫星影像摄影测量处理、多源影像融合、语义信息提取的相关理论与方法，结合先进的计算机技术、CPU/GPU两级加速并行处理及深度学习技术，处理效果和效率均明显优于国内外同类软件。例如单机情况下19小时即可完成1551景2米分辨率卫星影像的全自动处理，包括云区检测、影像融合、影像匹配、区域网平差、正射影像纠正等全部处理流程。语义分割结果约束的立体卫星影像区域网平差自动化程度和精度均显著提升，例如在1:1万基础测绘产品DEM/DOM的辅助下，高分七号立体卫星影像的全自动处理高程精度从2.6米大幅提升至0.8米以内，镶嵌接边精度优于1像素。

2025年4月14日，天津市科技创新发展中心官方微信公众号“天津市科技创新发展中心”以《推进主题教育成果转化 赋能党建业务融合发展》为题对我校进行了报道。

1.成果原理：通过图像增强算法优化恶劣天气下导盲犬视野，结合Transformer模型实现环境多模态语音描述，并通过手机平台实现远程监控与交互。 2.创新点：恶劣天气适应性（突破传统导盲设备在雾霾、雨雪等极端场景的视觉限制）；多模态交互(支持语音合成、家人音色定制及实时场景描述，兼顾安全性与情感需求)；轻量化设计(项圈重量适配犬只行动，避免传统穿戴设备的负担)。 3.应用场景：视障人士日常出行、导盲犬训练基地、公共复杂环境。 4.应用案例：与吉林外国语大学、科大讯飞联合开展技术验证，完成实验室原型测试。 5.成果获奖： 2023年“互联网+”大学生创新创业大赛吉林省铜奖 2024年“挑战杯”吉林省大学生创业计划竞赛银奖 6.成果评价：丰富了国内导盲生物辅助设备研究内容，获吉林省大学生创新创业大赛重点支持，技术专利布局中，市场潜力预估超800万视障人群需求，助力东北地区智能装备产业升级与民生福祉提升。

京津冀三地教育融合发展逐步深化，教育改革创新与产业转型、区域发展结合更加紧密，产教融合共同体建设需要政府、高校、企业等各方努力和协作，通过搭建育人平台、构建运行机制、创新人才培养模式，推动共同体建设深入发展。天津市大学软件学院基于十余年的先行先试，围绕“更好发挥企业重要主体作用，促进人才培养供给侧和产业需求侧结构要素全方位融合”等产教融合深化课题，不断探索创新，凝练成果，创建了“需求传导明确、校企高效协同、资源集约共享”的校企协同育人组织形态，即产教融合共同体的实现路径，为高校开展产教融合、校企合作提供可复制可借鉴的经验。

2025年3月27日，比亚迪迪空间微信号以《共筑产教融合新平台丨天津市大学软件学院与天津迪空间共建社会实践基地》为题对我校进行了报道。