|
搜索
搜 索
高等教育领域数字化综合服务平台
基于多感知数据融合的人机自然交互系统
本发明公开了一种基于多感知数据融合的人机自然交互系统，包括MEMS手臂跟踪装置、视觉跟踪装置，以及安装在操作者的手掌上的力反馈装置，上述各装置由PC终端控制，PC终端包括手臂运动解算模块、图像处理模块、力学解算模块和虚拟场景渲染模块；虚拟场景渲染模块根据手臂运动轨迹和手指运动轨迹生成虚拟手臂和手指，力学解算模块根据虚拟手指与虚拟物体的碰触信息，计算操作者当前状态下应得到的期望反馈力矢量；本发明可满足手臂大范围运动情况下的手臂运动轨迹的跟踪要求；其次，可通过图像信息测量操作者手指的运动轨迹，可精确测量手指上多个关节的角度；再者，可为操作者提供力反馈和虚拟场景的视觉反馈，增强系统的临场感、交互性。
东南大学
2021-04-11
一种基于李群论的多模态情感识别方法
本发明公开了一种基于李群论的多模态情感识别方法，包括以 下步骤：获取视频，并提取视频帧中图像区域的高斯型特征描述子， 基于高斯型特征描述子对视频中的图像区域进行跟踪，根据视频子序 列构建 ARMA 模型获取 ARMA 模型间的距离，根据 ARMA 模型之间 的距离构建核函数，并进行情感表达分类，根据人体、脸部和手部的 情感类别概率对人进行情感识别。本发明根据视频中所包含的人体姿 态运动信息、手势和脸部表情信息来判断人的情感状态，是一个将视 频数据映射到人体运动特征、手势特征和脸部表情特征，再从人体运 动特征空间和脸部表情特征映射到状态空间的过程，并提出利用李群 论进行多模态情感识别，提高模型进行情感识别的精确性。
华中科技大学
2021-04-11
多模态生物力学显微镜及测量方法
本发明公开了一种多模态生物力学显微镜及测量方法，包括从上至下依次设置的透射光源、光子晶体水凝胶薄膜、载物台、反射光源、成像组件；光子晶体水凝胶薄膜置于载物台上并保持悬空状态，使得透射光可以穿透薄膜到达成像组件，反射光经所述薄膜反射后到达成像组件；当待测细胞置于光子晶体水凝胶薄膜上后，支撑所述待测细胞的光子晶体水凝胶薄膜发生形变，使得光子晶体水凝胶薄膜上的反射光方向发生改变，成像组件收集反射光和透射光并进行成像，得到表征细胞牵引力的阴影图像。本发明能够对细胞牵引力进行实时测量，实现传统图像信息与力学信息的多模态成像。
东南大学
2021-04-13
基于机器学习的多模态医学影像信息处理与分析
多模态医学影像信息处理与分析，具有重大的应用背景，是国家和社会当 前高度重视的研究领域之一。 本项目拟基于机器学习方法，主要研究医学影像的特征描述、设备无关性 的特征评价与特征选择、基于内容的多模态医学影像检索、医学影像信息挖掘、 参考库建设与算法辅助研究平台的设计与开发等内容。研究目标为： （1）建立统一的特征描述模型，实现跨模态医学影像的统一特征描述； （2）提出有效解决特征提取层面上医学影像信息处理与分析算法的设备无 关性问题的通用框架； （3）在医学影像标注数据有限、数据库为海量等条件下，实现高效率单模 50 态影像检索，有效提高多模态、跨模态医学影像检索的精度，实现用户友好的 检索结果展示； （4）从结构复杂的多模态医学影像数据中，挖掘有用的知识，构建有效的 辅助诊断模型、实现个人疾病风险预警； （5）完成首期参考库建设与算法辅助研发平台的开发，为项目研究内容的 开展提供有效数据和环境支撑。本项目获得国家自然科学基金重点项目资助，项目执行期 2013.1-2017.12。
山东大学
2021-04-13
一种模态试验中多传感器附加质量消除方法
本发明提供了一种模态试验中多传感器附加质量消除方法，推导模态试验中多传感器质量影响消除公式，确定模态试验中布置的传感器个数及消除传感器质量的顺序，基于实测的频响函数根据消除公式逐一计算消除各传感器质量影响的频响函数。本发明首先基于Ｓｈｅｒｍａｎ?Ｍｏｒｒｉｓｏｎ公式推导传感器质量影响消除公式，根据公式实测所需的频响函数，代入公式依次逐一消除，最终实现多传感器质量消除。本发明实现了消除模态试验接触式测量方法中传感器附加质量造成的测量误差，通过对实测频响函数信号的处理消除了多传感器质量对频响函数的不利影响，具有实际工程意义。
东南大学
2021-04-11
高分辨超细径多模态支气管内窥镜及导航系统
从2003年的SARS到2020年初的新冠肺炎，我国和全球各国人民均面临呼吸道疫情或疾病的严重威胁。研究表明，采用RT-PCR核酸检测，样品中病毒含量对诊断准确率至关重要，若采集的病原学样本病毒含量过低（咽拭子或庆液），可能出现假阴性（漏诊）的情况。超细径支气管镜可进入肺部支气管，通过吸引通道采集诊断精准度更高的痰或肺泡灌洗液用千检测，特异性好，为核酸检测假阴性率高的问题提供解决方案。
另外，对重症肺炎患者治疗，如果仅仅采用药物治疗，常难以有效控制感染，尤其是痰液黏稠及咳痰无力的病人，痰液容易阻塞支气管腔，进而易导致肺不张，对机械通气造成很大影响，从而影响病入脱离呼吸机。超细径支气管镜可有效清除气管中的分泌物，对病变肺段进行肺泡灌洗，清除分泌物更彻底，有效缓解呼吸道阻塞症状，提高疗效。因此在急救、病房、手术室及ICU等各部门均可发挥最大作用。
肺癌是世界范围内发病人数和死亡人数最多的癌症，但CT筛查发现的肺外周结节如何活检确诊仍需依赖支气管镜的微创活检。虽然活检是诊断金标准，但因为这些结节位于肺外周，常规支气管镜检查时镜下不可见，又因结节小，盲取活检的成功率很低，因此需借助超细径支气管镜及辅助导航技术引导至目标外周结节，来提高诊断准确率，因此高分辨超细径支气管镜在肺癌诊断和治疗中同样发挥不可或缺的作用。
浙江大学
2023-05-10
基于多模态融合模型的平板显示视觉舒适度预测方法、系统
本发明涉及显示技术与人机交互交叉领域，提供基于多模态融合模型的平板显示视觉舒适度预测方法、系统，其中方法包括：步骤一、采集原始图像集，针对每一原始图像，运用生成对抗网络模型将输入的随机序列转换为增强素材，再将增强素材和原始图像按预设比例融合，获得若干新图像；步骤二、采集生理特征和物理特征，获得训练样本；步骤三、基于堆叠集成框架训练多模态融合模型；步骤四、输入测试数据，获得视觉舒适度预测结果。本发明旨在解决平板显示视觉舒适度预测领域高质量标注样本稀缺、单一模态分析耦合关系缺失、场景适配性差的问题。
南京工业大学
2021-01-12
技术需求:复杂作业环境下多参数的智能感知技术
1、复杂作业环境下多参数的智能感知技术；2、人工智能中枢控制系统实现；3、智能电液控制技术；4、终端轨迹规划及精确控制技术；5、自动扫描、分析技术与系统协调作业；6、基于影像分析的地面监控系统和远程操作系统实现；7、井下多传感信息融合及检测技术；8、井下网络数据传输系统平台构建；9、无线与有线光缆通信异构融合与组网技术；10、地面井下信息互通，以及与矿井综合自动化平台的高效融合技术
山东金科星机电股份有限公司
2021-08-17
空间目标光学探测感知技术
技术成熟度：技术突破
1.空间目标及星图光学探测仿真系统。由于空间目标探测真实数据获取成本较高，且数据量较少，结果验证困难，团队开发了空间目标及星图光学探测仿真系统。此工作以软件形式呈现，以友好的人机交互界面，根据用户的实际系统参数，提供准确可靠地提供当前时刻空间探测仿真图像，该软件前期经过与stk仿真软件结果比对验证其坐标的准确性，与在轨实测图像进行比对验证其仿真效果的可靠性。目前该软件已经在项目开发过程中广泛使用，为提高系统开发效率、验证算法性能提供有效支撑。
2.空间目标探测感知关键技术及算法体系。该成果以理论及软件开发包形式呈现，团队具备多年的空间探测相关开发经验，并将相关理论及算法构建软件开发包。该SDK开发包基于C++开发，具有较好的泛化能力，具有坐标描述转换、预处理、目标提取、星表制备、星图识别、光学标定、定位定姿定轨等功能，可支撑各层次的空间探测相关开发需求。目前团队基于此SDK开发的顶层软件，采用目标TLE数据库匹配的解决方法，已经完成长光奥闰光电科技有限公司地基望远镜空间目标的感知识别及长光卫星技术股份有限公司的星敏感器在轨图像空间目标自动提取与识别，后续还将采用更多的数据验证完善提升本系统的技术成熟度。
意向开展成果转化的前提条件：
1、长春长光奥闰光电科技有限公司等测站望远镜生产企业，利用本项目的共性技术，实现地基测站的空间目标自动探测感知，为空间安全提供支撑服务。
2、长光卫星技术股份有限公司、吉天星舟空间技术有限公司等遥感卫星公司，通过本技术的转化，可以利用星上光学载荷构建空间态势感知平台，为自身卫星安全提供保障、为国家及其他航天企业的空间安全需求提供数据支撑服务。另外可以在空间光学载荷开发过程中应用空间目标及星图光学探测仿真系统，对光学载荷的精度和鲁棒性进行评估和测试。
长春工业大学
2025-05-20
一种多模态信息融合的足球视频事件检测与语义标注方法
本发明公开一种多模态信息融合的足球视频事件检测与语义标注方法，包括：利用潜在语义分析方法检测互联网赛况报道文本描述语句的事件类型；检测足球视频中级语义对象，划分场地区域并进行攻防转换析，确定视频事件片段的边界；根据中圈和哨声检测结果确定比赛开始时间，利用贝叶斯网络实现攻防片段的初始语义分类；在文本描述中的粗粒度时间信息的约束下，根据文本和视频片段的语义同步文本描述和视频事件，实现足球视频事件的语义标注。本发明方法融合互联网文本信息和视频内在视听特征分析足球视频，提高了视频事件及其边界检测的准确率，实
华中科技大学
2021-04-14