本发明公开了一种基于多感知数据融合的人机自然交互系统，包括MEMS手臂跟踪装置、视觉跟踪装置，以及安装在操作者的手掌上的力反馈装置，上述各装置由PC终端控制，PC终端包括手臂运动解算模块、图像处理模块、力学解算模块和虚拟场景渲染模块；虚拟场景渲染模块根据手臂运动轨迹和手指运动轨迹生成虚拟手臂和手指，力学解算模块根据虚拟手指与虚拟物体的碰触信息，计算操作者当前状态下应得到的期望反馈力矢量；本发明可满足手臂大范围运动情况下的手臂运动轨迹的跟踪要求；其次，可通过图像信息测量操作者手指的运动轨迹，可精确测量手指上多个关节的角度；再者，可为操作者提供力反馈和虚拟场景的视觉反馈，增强系统的临场感、交互性。

湖北中潮教育科技集团有限公司（简称“中潮教育”）是一家基于教育大数据和产教融合理念，通过教育内容研发与创新，充分利用移动互联网和信息技术的手段，打造商学类、管理类、法律类、党建类、人文类专业、职业与行业的课程体系，为各类企业、事业和政府组织建立特色化的职业技能提升学习系统，帮助社会大众提升职业素质，培养学习型组织，实现利用互联网平台传授知识、传播思想、传承文化的教育企业。

1.成果原理：通过图像增强算法优化恶劣天气下导盲犬视野，结合Transformer模型实现环境多模态语音描述，并通过手机平台实现远程监控与交互。 2.创新点：恶劣天气适应性（突破传统导盲设备在雾霾、雨雪等极端场景的视觉限制）；多模态交互(支持语音合成、家人音色定制及实时场景描述，兼顾安全性与情感需求)；轻量化设计(项圈重量适配犬只行动，避免传统穿戴设备的负担)。 3.应用场景：视障人士日常出行、导盲犬训练基地、公共复杂环境。 4.应用案例：与吉林外国语大学、科大讯飞联合开展技术验证，完成实验室原型测试。 5.成果获奖： 2023年“互联网+”大学生创新创业大赛吉林省铜奖 2024年“挑战杯”吉林省大学生创业计划竞赛银奖 6.成果评价：丰富了国内导盲生物辅助设备研究内容，获吉林省大学生创新创业大赛重点支持，技术专利布局中，市场潜力预估超800万视障人群需求，助力东北地区智能装备产业升级与民生福祉提升。

大数据应用的多样化 需要的计算模型、数据模型多样化； 目前每类模型需要单独的开源系统来支持（如HDFS、HBase、Neo4j、MongoDB，Flink，Spark，Tensorflow等）。 多系统导致大数据分析平台非常复杂、效率低下。研究目标：研究和开发面向新型多计算模型融合架构的、高时效、可扩展的新 一代大数据分析支撑系统与工具平台FAST（Fusion-Architecture, Scalable, Time-efficient big data analysis platform）。针对目前大数据分析平台复杂、效率低下的痛点，该系统具有三个 方面的优势：首先，这套系统采用融合架构，一方面实现关系、图、键 值、文档等多种数据模型的高效融合，另一方面实现批处理计算、流计 算的深度融合，并可以通过SQL扩展语言来进行多模型的统一查询，实现高效的跨模型查询。其次，对于复杂系统来说，时效性非常重要，这 套系统采用融合架构提高效率是实现高时效的基础，更重要的是，我们 对大数据分析从数据到用户进行了端到端的全栈时效优化。最后，对于 大数据应用来说，系统扩展性非常重要，本系统在资源层、存储层和计 算层进行了全面的扩展性优化。下面在融合架构、高时效和可扩展这三 个方面，分别详细介绍FAST系统的三个主要亮点。融合架构FAST系统的第一个亮点是融合架构，我们在技术方面的创新主要包 括多数据模型融合和多计算模型融合两方面。多数据模型融合：设计和研发了多模型数据管理与查询引擎，支持关系、图、键值、 文档等多种数据模型，实现了查询解析、查询优化、元数据管理、数据 分布等功能，将多种数据模型进行统一管理和深度融合。同时扩展了SQL语言，通过统一的查询接口支持对关系、键值、图、文档等数据进行独立访问或者跨模型查询。经过试验，多模型数据融合查询，比Spark 2.3.4的查询时间能平均减少70.7%。目前spark等现有系统还需要手工编程方式来实现跨模型查 询，所以FAST系统在易用性上也表现良好，降低使用门槛，提高开发效率。多计算模型融合：在计算层实现了最常见的批处理计算和流计算深度融合，批流融合的核心方法是在系统内部实现批和流的统一表达，批是对有限数据集 的运算，流是对无限数据流的计算，我们设计了UCollection结构对批和 流数据进行统一表达，通过识别的bounded标志，来确定是批、流、或批流融合。有了统一表达，可以开展一系列融合优化来提升系统性能。 并且对上通过Unified API统一用户的批、流接口，实现二者在编程范式上的统一表达。对于批流混合的计算，融合架构系统的查询延迟比Flink 1.4.2能减少57%，吞吐量平均可以提升到6.72倍。高时效FAST系统的第二个亮点是高时效，即缩短大数据分析的时间消耗， 提高效率。由于大数据分析平台是一个非常复杂的系统，为了做到高时效，系统不能存在性能短板，因此需要对大数据分析的整个过程进行端到端的全栈时效优化。如图中所示，自下而上，需要在多模态存储、批流融合、机器学习、人工操作各层都进行优化。对于多模态存储，面向应用负载和异构硬件特征进行自适应优化；对于批流融合计算，在统一表达基础上，进行系列融合优化技术， 包括DAG优化、迭代优化、部署优化、操作符优化等；在机器学习层面，进行模型优化、消息优化、梯度优化、概率优化 等来提高时效；而且我们也考虑到大数据分析过程中用户人工操作的时效性问题， 通过智能地进行大数据分析方法和模型的推荐，来缩减人工操作的 时间。可扩展FAST系统的第三个亮点是可扩展，由于大数据应用规模很大，数据增速快，对系统可扩展性的要求非常高，为此我们在系统的资源层、 存储层和计算层进行了全面的扩展性优化。在资源层，系统都部署在云计算的虚拟化资源之上，利用了云计算资源的弹性机制进行系统扩展。并在系统中实现了可伸缩调整模块， 能实时监控软硬件系统的状态，按照应用需求来自适应地进行弹性伸缩。在存储层，分布式存储系统扩展性的关键在于分布式共识和一致性 协议（Raft），因此提出了KV-Raft、vRaft等进行Raft的扩展优化。在计算层，我们扩展了机器学习模型的参数规模，使系统可以支持 到百亿级别的超大规模机器学习模型训练，并且性能方面有明显提 升。亮点成果：融合架构大数据分析平台目前已经在阿里巴巴双十一进行示范应用。 从2020年11月10日至11月16日一周的时间，在阿里的生产环境中，研发 的系统一直连续稳定运行，基于淘宝和天猫的实际用户信息进行大数据 分析，综合运用了本系统的存储、计算、机器学习等多个模块的能力， 累计进行了184亿件商品推荐。同时在双十一期间，基于智能交互向导技术，也面向电子商务应用 的卖家提供了“生意参谋”应用，基于大数据分析，帮助卖家分析产品 销量变化的原因，以及促销的有效手段等。

流立方在技术流派里属于流式大数据实时处理领域，但兼顾了批式数据处理技术的优势，一定程度的做到了混合时态的实时处理。流立方通过在数据流水过程中嵌入流处理引擎将所有流过的数据进行实时处理, 并生成多维度的可计算数据魔方。1）超高并发性：“流立方”产品拥有每秒处理百万笔交易流水复杂分析的能力。而达到这样的性能仅需要 8 台普通的 pc 服务器搭建的集群。2）超低时效性：流立方对每笔流水处理的延时严格控制在毫秒级，实际生产中平均延时稳定在 10 毫秒左右。形象一点来说，也就是在海水涌进海洋的几乎同一时刻，数据就被分析完成了，远远低于人类学上 0.1 秒即有所感知的时间节点，处理速度比一眨眼快了很多倍。最近一年，流立方的高级版本更是提升到了微秒级的处理延时，将被用在春运票务、军工、反恐等要求更加极致的场景。3）高可靠性、高扩展性、高兼容性：流立方自带的可计算分布式缓存高性能、高可靠、高可扩展。在内存不足时, 能够平滑扩展到多节点。流立方平台内支持算法数量达到几十个。计算模型、脚本独立管理,在线编写、即时部署即时生效, 大大节约上线时间。

研究背景：  大数据应用的多样化  需要的计算模型、数据模型多样化；  目前每类模型需要单独的开源系统来支持（如HDFS、HBase、Neo4j、MongoDB，Flink，Spark，Tensorflow等）。  多系统导致大数据分析平台非常复杂、效率低下。 研究目标： 研究和开发面向新型多计算模型融合架构的、高时效、可扩展的新 一代大数据分析支撑系统与工具平台FAST（Fusion-Architecture, Scalable, Time-efficient big data analysis platform）。 针对目前大数据分析平台复杂、效率低下的痛点，该系统具有三个  方面的优势：首先，这套系统采用融合架构，一方面实现关系、图、键  值、文档等多种数据模型的高效融合，另一方面实现批处理计算、流计  算的深度融合，并可以通过SQL扩展语言来进行多模型的统一查询，实现高效的跨模型查询。其次，对于复杂系统来说，时效性非常重要，这  套系统采用融合架构提高效率是实现高时效的基础，更重要的是，我们  对大数据分析从数据到用户进行了端到端的全栈时效优化。最后，对于  大数据应用来说，系统扩展性非常重要，本系统在资源层、存储层和计  算层进行了全面的扩展性优化。下面在融合架构、高时效和可扩展这三  个方面，分别详细介绍FAST系统的三个主要亮点。 融合架构 FAST系统的第一个亮点是融合架构，我们在技术方面的创新主要包  括多数据模型融合和多计算模型融合两方面。 多数据模型融合： 设计和研发了多模型数据管理与查询引擎，支持关系、图、键值、  文档等多种数据模型，实现了查询解析、查询优化、元数据管理、数据  分布等功能，将多种数据模型进行统一管理和深度融合。同时扩展了SQL语言，通过统一的查询接口支持对关系、键值、图、文档等数据进行独立访问或者跨模型查询。 经过试验，多模型数据融合查询，比Spark 2.3.4的查询时间能平均减少70.7%。目前spark等现有系统还需要手工编程方式来实现跨模型查 询，所以FAST系统在易用性上也表现良好，降低使用门槛，提高开发效率。 多计算模型融合： 在计算层实现了最常见的批处理计算和流计算深度融合，批流融合的核心方法是在系统内部实现批和流的统一表达，批是对有限数据集  的运算，流是对无限数据流的计算，我们设计了UCollection结构对批和  流数据进行统一表达，通过识别的bounded标志，来确定是批、流、或批流融合。有了统一表达，可以开展一系列融合优化来提升系统性能。 并且对上通过Unified API统一用户的批、流接口，实现二者在编程范式上的统一表达。对于批流混合的计算，融合架构系统的查询延迟比Flink 1.4.2能减少57%，吞吐量平均可以提升到6.72倍。 高时效 FAST系统的第二个亮点是高时效，即缩短大数据分析的时间消耗，  提高效率。由于大数据分析平台是一个非常复杂的系统，为了做到高时效，系统不能存在性能短板，因此需要对大数据分析的整个过程进行端到端的全栈时效优化。如图中所示，自下而上，需要在多模态存储、批流融合、机器学习、人工操作各层都进行优化。 对于多模态存储，面向应用负载和异构硬件特征进行自适应优化； 对于批流融合计算，在统一表达基础上，进行系列融合优化技术， 包括DAG优化、迭代优化、部署优化、操作符优化等； 在机器学习层面，进行模型优化、消息优化、梯度优化、概率优化 等来提高时效； 而且我们也考虑到大数据分析过程中用户人工操作的时效性问题，  通过智能地进行大数据分析方法和模型的推荐，来缩减人工操作的  时间。 可扩展 FAST系统的第三个亮点是可扩展，由于大数据应用规模很大，数据增速快，对系统可扩展性的要求非常高，为此我们在系统的资源层、  存储层和计算层进行了全面的扩展性优化。 在资源层，系统都部署在云计算的虚拟化资源之上，利用了云计算资源的弹性机制进行系统扩展。并在系统中实现了可伸缩调整模块，  能实时监控软硬件系统的状态，按照应用需求来自适应地进行弹性伸缩。 在存储层，分布式存储系统扩展性的关键在于分布式共识和一致性 协议（Raft），因此提出了KV-Raft、vRaft等进行Raft的扩展优化。 在计算层，我们扩展了机器学习模型的参数规模，使系统可以支持  到百亿级别的超大规模机器学习模型训练，并且性能方面有明显提  升。 亮点成果： 融合架构大数据分析平台目前已经在阿里巴巴双十一进行示范应用。  从2020年11月10日至11月16日一周的时间，在阿里的生产环境中，研发 的系统一直连续稳定运行，基于淘宝和天猫的实际用户信息进行大数据 分析，综合运用了本系统的存储、计算、机器学习等多个模块的能力， 累计进行了184亿件商品推荐。 同时在双十一期间，基于智能交互向导技术，也面向电子商务应用  的卖家提供了“生意参谋”应用，基于大数据分析，帮助卖家分析产品  销量变化的原因，以及促销的有效手段等。

研究背景及挑战:高精度无缝位置服务是智慧生活的关键技术之一, 也是实现以人为中心的智能情境感知技术基础。然而, 复杂城市峡谷(高楼、天桥、隧道)地区连续导航、室内外高精度无缝定位由于卫星信号频繁受到阻隔、室内布局动态变化等因素,实现连续高精度全空间定位存在诸多挑战。本科研团队研究内容:基于团队在 Wi-Fi, ZigBee, INS、图像、超声波、声音、RFID 等多种定位技术科研成果,研发高精度、低功耗、低成本、易部署的多源融合定位云平台,提供全时空位置服务及用户行为挖掘服务平台。融合定位云平台体系框架全时空定位服务平台上下文突破弹性导航软硬件架构及理论体系基于因子图多源融合定位算法科研基础:国家重点研发计划项目“自适应导航软硬件技术”、高精度高鲁棒性室内定位关键技术及装置研究(863)、无线传感网络定位技术研究(NSFC)、基于众包和群智计算的室内无线定位理论和方法 (NSFC)、自适应室内无线信号变化的低代价高精度定位技术研究(NSFC)等项目的支持下,已完成全时空融合定位云平台,以及用户行为挖掘大数据平台建设。 科研成果:1中国卫星导航定位科技进步一等奖2 获UbiComp交通模式识别比赛冠军3获阿里巴巴天池世界比赛冠军4 制定国家实时定位标准6项5 发表中科院一区顶级SCI期刊论文 10 篇6 获得国家发明专利授权 20项,申请国家发明专利 32项7 国际 IPIN2016 室内定位比赛第3名 成果应用案例:华为、三星、中国电信集成、华大电子、22所等

研究背景及挑战: 高精度无缝位置服务是智慧生活的关键技术之一, 也是实现以人为中心的智能情境感知技术基础。然而, 复杂城市峡谷(高楼、天桥、隧道)地区连续导航、室内外高精度无缝定位由于卫星信号频繁受到阻隔、室内布局动态变化等因素,实现连续高精度全空间定位存在诸多挑战。 本科研团队研究内容: 基于团队在 Wi-Fi, ZigBee, INS、图像、超声波、声音、RFID 等多种定位技术科研成果,研发高精度、低功耗、低成本、易部署的多源融合定位云平台,提供全时空位置服务及用户行为挖掘服务平台。 融合定位云平台体系框架 全时空定位服务平台上下文 突破弹性导航软硬件架构及理论体系 基于因子图多源融合定位算法 科研基础: 国家重点研发计划项目“自适应导航软硬件技术”、高精度高鲁棒性室内定位关键技术及装置研究(863)、无线传感网络定位技术研究(NSFC)、基于众包和群智计算的室内无线定位理论和方法 (NSFC)、自适应室内无线信号变化的低代价高精度定位技术研究(NSFC)等项目的支持下,已完成全时空融合定位云平台,以及用户行为挖掘大数据平台建设。   科研成果: 1中国卫星导航定位科技进步一等奖 2 获UbiComp交通模式识别比赛冠军 3获阿里巴巴天池世界比赛冠军 4 制定国家实时定位标准6项 5 发表中科院一区顶级SCI期刊论文 10 篇 6 获得国家发明专利授权 20项,申请国家发明专利 32项 7 国际 IPIN2016 室内定位比赛第3名   成果应用案例: 华为、三星、中国电信集成、华大电子、22所等

高校科技成果尽在科转云