本发明公开了一种基于多感知数据融合的人机自然交互系统，包括MEMS手臂跟踪装置、视觉跟踪装置，以及安装在操作者的手掌上的力反馈装置，上述各装置由PC终端控制，PC终端包括手臂运动解算模块、图像处理模块、力学解算模块和虚拟场景渲染模块；虚拟场景渲染模块根据手臂运动轨迹和手指运动轨迹生成虚拟手臂和手指，力学解算模块根据虚拟手指与虚拟物体的碰触信息，计算操作者当前状态下应得到的期望反馈力矢量；本发明可满足手臂大范围运动情况下的手臂运动轨迹的跟踪要求；其次，可通过图像信息测量操作者手指的运动轨迹，可精确测量手指上多个关节的角度；再者，可为操作者提供力反馈和虚拟场景的视觉反馈，增强系统的临场感、交互性。

配电低压台区泛在感知解决方案，创新提出“变-线-表”一体化拓扑辨识方法，可实现故障定位和主动推送、户内外停电责任研判、抢修痕迹化管理、分支线路阻抗监测等创新功能，完整实现中低压配电网一张图的解决方案。

本技术成果重点通过研究开放式数据交互技术，在基础数据支撑平台层面解决异构交通数据一致性描 述、跨平台交互等问题；通过研究城市路网多粒度运行状态分析技术，在交通状态感知与分析层面解决大 规模路网交通运行状态多粒度获取等问题；通过实施中心城市交通状态感知与分析集成系统开发与实证测 试，实现面向交通管理与出行的多目标多层级交通运行状态评价。

成果介绍物联网感知层测试实验与评估系统是在863主题项目—物联网安全感知关键技术及仿真验证平台的资助下完成。仿真平台为物联网感知节点部署后的性能提供一个仿真测试和性能评估的环境，其特点是：不需要部署真实的感知节点。通过对物理信道的建模、无线信号特征建模、电源建模和通信环境建模，能够最大限度模拟真实环境下的感知节点通信过程。仿真的结果是理论值，可以将感知层测试实验平台的数据作为系统的初始值，从而提高仿真的精度。其特点和指标：（1）针对实际应用环境配置参与通信的感知节点属性和参数，即节点建模；（2）建模感知节点的电源模型；（3）根据用户的需要选择节点部署的方式，并可以对节点位置、属性和参数进行手动调整；（4）能够加载待测的通信协议；（5）能够根据部署的拓扑图产生用户编程模板；（6）理论上，待测节点的数量不设置上限，但随着节点数量的增加，PC的处理时间将延长；（7）能够仿真无攻击或攻击情况下，网络的吞吐量、丢包率、延时、数据传输的平均路径长度、平均能耗和网络的扩展性等性能；（8）该平台不受具体应用的限制。技术创新点及参数技术原理：针对物联网感知层设备规模庞大，部署费时费力，以及部署前很难评估系统性能，部署后加载的协议一旦不符合要求，重新加载成本巨大的问题，研发了该平台。该成果的主要创新性体现在感知设备和环境等物理特征建模、测试内容和方法、仿真过程和结果的可视化显示等方面，使得开发的系统简单、易用，测试过程清晰、透明，测试结果可以分类比较。（1）在感知设备和环境等物理特征建模方面 该项目在感知设备部署环境方面，分别对室内环境和室外环境进行建模。针对室外环境，该团队主要考虑自由空间的情况下，根据设备部署在平坦区域和非平坦区域的不同进行建模；针对室内环境，该团队主要根据多径效应、视距是否阻挡以及不同建筑材料（包括：混凝土墙、混领土楼板、天花板管道、金属楼梯、厚玻璃、木门和隔墙等）对信号衰减的影响进行建模。在电源建模方面，主要是根据不同厂家的5号电池的放电曲线进行建模，由其放电电流、放电电压和持续时间来确定电源的剩余电量。在芯片建模方面，根据不同的芯片类型，建模发射功率、接收灵敏度、RSSI、发送速率、工作电流和最小工作电压等主要参数。（2）在感知层的测试内容和方法方面该平台主要针对感知层需要评价的性能，如：吞吐量、丢包率、延时、平均路径长度、能耗和连通度等，设计了其测试方法，新增待测性能可以通过组件的方式扩展。为了实现相关性能测试，首先需要选择设备类型和部署场景，如图1和图2所示。然后进行部署，部署完成后，系统会自动产生5类文件，即：.ned文件，定义了感知设备部署后的拓扑结构，如图3所示；.msg文件，定义了感知设备之间的通信规则，用户可以根据实际需要进行修改和自定义；.ini文件，设备一旦部署完成后，其id号和位置坐标将记录在该文件中，设备移动后，该文件对应的坐标值将自动更新；.h和.cc文件，即用户待测协议的源文件。一旦感知设备部署完成，平台自动产生这5类文件的初始框架，用户只需要写入待测协议的具体代码，经编译器编译后，即可进入测试环节。具体协议的代码可根据该项目组编写的编程指南开发，其开发环境与C语言的开发环境类似，方便易用。（3）在仿真过程和结果的可视化显示方面一旦待测协议编译完成，平台即可开始相关的测试，此时，用户可以根据需要动态选择不同的参数，进行测试。开始测试时，平台将同步显示协议的通信过程，如图5所示。根据仿真测试结果，不同的协议可以进行性能对比，如图4所示为不同协议的网络平均能耗对比。该平台可以在无攻击和无安全机制、无攻击和有安全机制、有攻击和无安全机制、有攻击和有安全机制等四种情况下，评估感知层网络的性能，并将它们的测试结果进行对比分析。国内外同类技术对比：国际上类似的仿真工具有十种左右，如：TOSSIM，OpenNet，NS2和OMNET等，都是针对传感器网络开发，不能仿真技术体制不同的感知设备，没有对设备、网络和环境等物理特征建模，而且无法接入实体设备，无法进行虚实结合的仿真测试。即使有些工具可以仿真感知层网路，如：TOSSIM，但是只提供TinyOS传感网络的仿真环境，无法仿真系统的安全性能，无法动态添加安全策略和安全模型。而NS2、OpenNet和OMNET虽然可以仿真安全协议，但使用复杂，不易掌握，无法进行多安全机制对比，无法接入实体设备。而且，它们仿真的物理层是理想状态，造成仿真结果与实际存在较大的差异。

1. 痛点问题 场景、目标对象的感知与语义理解在医疗健康、运动培训等领域具有广阔的应用前景，其核心是如何在像素级、对象级、场景级多层次、多尺度表示下实现语义、几何及空间关系的透彻感知。 现有计算机视觉方法或激光雷达等手段无法同时获取多个维度的高质量场景与目标信息，同时现有的深度估计、语义分割、位姿估计等相关技术，存在识别精度低、提取不到关键信息、应用场景单一等问题，无法满足大尺度场景应用的需求。 2. 解决方案 团队提出多模态采集、时空复用编码摄像方法，获取大景深、高时空分辨、丰富的精确场景视觉信息；提出一种基于物理空间推理和语义关联建模的动态场景深度估计方法，综合语义信息、几何结构信息以及时空间信息进行滤波，实现复杂动态场景的无先验深度估计，将观测目标与背景进行区分；提出一套从图像和视频中预测目标的位置和姿态的方法，包括迭代匹配的深度网络、基于物体三维坐标的旋转/平移解耦、自监督6D模型等，克服了遮挡、光照变化、视觉歧义与数据标注依赖等因素的影响，可以准确估计目标相对相机的 6D 位姿（3D平移量和3D旋转量）；构建了基于全卷积网络和兴趣区域的多目标实例检测与分割框架，有效的解决了复杂类别、场景遮挡情况下的多目标实例分割问题，能够实现同时对场景中多个目标检测与分析。 合作需求 寻求医疗健康服务、医疗器械等领域有相关技术开发、市场推广经验，能推广本技术落地的高科技企业，可以进行深度合作。

本项目搭建一套基于深度学习技术的列车轨道安全自主感知系统，利用摄像头，激光雷达毫米波雷达等多传感器，通过多传感器融合和物体检测技术，对轨道安全进行监测感知。通过视觉目标检测，实现激光雷达点云数据处理和多传感器数据整合。

南京视觉艺术职业学院地处南京禄口国际机场空港产业园区，拥有800亩生态化校园，是一所飞速发展中的实力型院校。其前身是创办于1999年的南京林业大学民办二级学院——南方摄影学院，六年的不懈努力使其逐渐成熟壮大，具备了独立办学资格。2005年，经江苏省人民政府批准，南京视觉艺术职业学院正式成立。自独立办学以来，学院始终秉承“精艺创新、追求卓越”的校训，以培养勇于创新、学有所长、行知统一、脚踏实地的高素质专业艺术人才为目标，得到了社会各方的信赖与支持。 南京视觉艺术职业学院是一所开放式管理的综合性新型艺术院校，师资雄厚、设备先进、环境优美、就业前景广阔，各项办学条件均已达到一流高校的应有水准，尤其是我们的强势专业—摄影更是名蜚中外。我院目前设有传媒系、设计系、人文艺术系和国际学院。设有摄影与摄像艺术(商业/影视/航空)、摄影摄像技术、影视编导、广播影视节目制作、数字媒体艺术设计、数字媒体应用技术、影视动画、音乐表演(声乐/钢琴演奏/学前教育)、歌舞表演、舞蹈表演、播音与主持、空中乘务、高尔夫运动与管理、休闲服务与管理(高尔夫俱乐部管理)、酒店管理、室内艺术设计、建筑室内设计、环境艺术设计、建筑设计、广告设计与制作、视觉传播设计与制作、美术等多个专业方向。 学院办学条件优越。首先，经过多年努力，学院拥有了一支专业扎实、师德高尚、教学认真的师资队伍。为了培养学生的国际视野，加强学生艺术创造能力，学院特从国内外引进了一批具有新思想、高素质的专家学者及留学归国人员充实师资队伍，充分吸收国外先进的教育思想和办学理念，设立各学科专家工作室主持教学工作，提升学院的教学科研水平，为学生发展创造了良好的条件。其次，我院从国外引进了一系列先进的设备，建成了演播厅、摄影棚、黑白与彩色暗房、灯光素描室、数字化语音室、计算机房、苹果机房、动画制作机房、非线编辑机房、网络机房、录音室、影视观摩厅、影视编辑室、影视器材库、高尔夫练习场、国际艺术展厅等专业教学设施。这些先进教学设施的引进不但彰显了学校职业艺术教育的风采，而且对学生实践能力的培养极为有利。再次，为了寻求更好的发展，为学生深造提供更高平台，学院积极开展各项对外交流活动，借鉴世界各国艺术教育的经验来充实自身。相继与美国、韩国等国家的多所大学建立了友好交流关系，踏上国际化办学之路，走向更加广阔的发展空间。最后，学校环境优美、风景如画更兼生活设施齐全。我院为学生提供四人间、通暖气的高标准学生宿舍和完整、齐备的生活设施，让学生在安静温馨、惬意舒适的环境中学习与生活。 学院学生就业前景广阔。我院开设的都是社会急需的热门专业，这些高平台高回报的专业，无论对学生还是社会都有着较强的吸引力，为学生顺利就业提供了保证。建校十多年来，已有数千学子走出学校，他们凭借优秀的专业知识和娴熟的专业技能受到用人单位的一致好评。我院培养的摄影、主持类人才在中央电视台、江苏省电视台、电台、各报社、杂志社等各媒体单位都非常受欢迎;我院培养的设计类、影视类专业人才，在目前影视行业专业人才紧缺的情况下供不应求;我院高尔夫和酒店管理类专业就业也非常乐观，由于行业人才缺口很大，全国各五星级酒店、会所(如金陵饭店、黄山高尔夫会所等)都对我院毕业生伸出橄榄枝，就业率带到100℅。此外，学院还积极创造条件为优秀毕业生提供出国继续深造的机会。2009年我院与韩国中部大学开展校际交流，目前已有多名学生赴韩进行本科阶段的深造;学院还即将与美国橙色海岸等学院开展全面的校际合作交流。高就业率和专转本录取率已成为我院办校近二十年来最炫目的亮点。 南京视觉艺术职业学院将凭借雄厚的师资力量、规范的教学管理、优良的教学质量、一流的硬件设备和优美的校园环境，为培养更多高素质、高层次、应用型的专业人才，创建教育强省，促进中国教育事业的蓬勃发展书写更加辉煌的新篇章。由于我院较强的综合实力，中国高等教育学会摄影教育专委会理论委员会、中国广播电视节目主持人南京培训基地、江苏省美学会均选择我院作为设立点。 学院创办至今已近二十年的历史，这近二十年中，学院用无数次成功的第一次展示出了它的拼搏与实力。经过多年的艰难探索、奋力前行，南京视觉艺术职业学院也在披荆斩棘中摸索出了适合自己的办学之路。我们相信，经过不断探索、改革和创新，南京视觉艺术职业学院必将走出一条国际化、品牌化艺术发展之路，创造出更加灿烂辉煌的明天。

机器视觉智能检测与定位技术用机器视觉取代人类视觉，为传统装备增加视觉判断与智能定位功能，可实现“无人车间”的智能检测与机械手的准确定位，实现装备智能化，解放劳动力。 该技术由太原科技大学数字媒体与通信研究所独立研发、具有独立知识产权，硬件成本低于国内外同类产品。 该技术从准确性、精度、速度、硬件成本等指标上处于国际先进水平，可实现生产线装备的实时在线智能检测与定位，检测准确度97%以上，精度0.3mm以下，定位精度可达0.01mm以下。 该技术拥有中国发明专利18项，软件知识产权5项。 2015年以来，先后应用在上海地铁隧道灾害监测、沈阳公路隧道检测、西安铁路高铁桥墩裂缝检测、爱旭太阳能义乌生产线的硅片崩边缺角及隐裂检测、通威太阳能成都、合肥生产线的硅片碎检及隐裂检测，河北电力的绝缘子检测。

一、项目简介 由于众多工业企业存在工作环境噪音大、粉尘多、劳动强度大等问题，均不同程度面临着招工难的问题，生产规模很难扩大。同时，由于长时间重复机械工作，容易出现漏检和误检，整体工作效率不高。对于已上线成套设备的企业，其集成度仍较低，自动化程度及性能都亟待提高，很难满足市场的迫切需求。因此，机器换人可有效解决上述问题，而机器视觉是模拟人工操作的关键，综合利用视觉检测、模式识别、优化调度和综合信息管理等技术和方法提高生产自动化水平极为重要。 二、前期研究基础 项目组已与惠州高视科技有限公司签署合作协议“机器视觉定位平台开发与技术服务，2018.3-2019.3，50万元”，并联合厦门大学自动化系与高视科技有限公司建立“视觉定位联合实验室”，与厦门市自动化学会签署合作协议，联合建立“人工智能-机器视觉联合实验室”。研究了视觉对位平台如何实现两个目标物之间的精确对准。视觉系统需要对两个目标物分别进行拍摄，选择Mark点或者目标物的边或角的特征信息。利用视觉对位技术，实现两个目标物物理坐标之间的在X、Y轴和角度坐标的偏差，通过驱动相关运动平台，引导平台运动到贴合位置，实现视觉引导精确对位。 三、应用技术成果 开发了鞋模喷胶系统，采用传送带传送鞋模，利用工业相机采集图像，经图像处理算法检测鞋模边缘，再将处理过的边缘坐标数据传送给控制器，控制器控制喷胶器对鞋模进行喷胶。 开发了自动贴盖机系统，基于传送带传送产品，利用工业相机采集传送带上的产品图像，再通过图像处理算法定位到模板图像在采集图像中的准确位置，从而通过坐标转换将图像中的坐标转换到世界坐标，然后将数据通过串口通信传送给控制系统，控制系统会控制机械手在定位到的位置坐标贴上产品标签或者封盖。 四、合作企业 惠州高视科技有限公司是一家专业从事机器视觉应用领域设备、计算机图像处理系统解决方案研发的高科技现代化企业。公司的机器视觉产品广泛应用于液晶、电子、新能源、金属加工等行业公司秉承以人为本、合作共赢的管理理念，以技术开发为中心，以客户需求为导向，致力于成为在机器视觉检测、测量、图像识别领域杰出的系统解决方案及设备供应商。拥有11项软件著作权和5项实用新型专利。