一、项目进展 创意计划阶段 二、负责人及成员 姓名 学院/所学专业 入学/毕业时间 学号 史雨杰 电信院/自动化 2019.9/2023.7 201931072537 李耀辉 电信院/机器人工程 2019.9/2023.7 201931072628 刘忠跃 电信院/自动化 2018.9/2022.7 201831073203 王怡欣 电信院/自动化 2018.9/2022.7 201831073423 孟泽涛 电信院/自动化 2018.9/2022.7 201831073302 三、指导教师 姓名 学院/所学专业 职务/职称 研究方向 李杰 电气信息学院 讲师 人工智能 四、项目简介 本项目基于虚实交互技术、仿生机器狗运动控制、机器视觉、机器算法等方面展开研究。其目的在于增强虚实场景下机器狗与现实环境的交互能力，使其更快速地适应复杂地形，并借助机器视觉丰富其应用性。机器狗采用Jetson-Nano为主控板，其上运行ROS系统，采用分布式运行rosserial_arduino、rosbridge实现机器狗运动控制和虚拟场景通信的环节；利用SLAM技术精确构建地形图样，模拟人的真实视觉功能并通过图像摄取装置赋予机器狗，使机器狗能够对图像信号进行获取和识别，并通过数字化处理以实现其在多目标环境下的个体追踪功能以及对人体的姿态识别功能。

本实用新型涉及双目立体视觉测距技术，具体涉及一种多摄像头自适应的立体视觉测距装置，包括 主板，固定在主板上的左一摄像头、左二摄像头、右一摄像头、右二摄像头、右三摄像头、左数据传输 接口，及右数据传输接口，还包括外部控制板；左一摄像头、左二摄像头通过主板与左数据传输接口连 接；右一摄像头、右二摄像头、右三摄像头通过主板与右数据传输接口连接；左数据传输接口、右数据 传输接口分别与外部控制板连接。该测距装置结构简单、操作方便、成本低，具有多个摄像头，允许根 据待测物的实际位置和实际距离选择使用摄像头对，具有自适应性，可移植性强，能够实现双目立体视 觉测距所需图像数据的实时采集和传输。 

一种基于对象随机游走的遥感图像视觉显著性检测方法及系统，包括进行多尺度分割，并在每个尺 度下分别对颜色特征相似的邻接区域进行合并;对于每个尺度下的分割结果，分别提取每个分割区域的 视觉特征，构建当前尺度下的对象集合;对于每个尺度下的对象集合，通过对象间的特征差异计算对应 的边缘权重，并计算注意焦点在对象间的转移概率，获得注意焦点的转移概率矩阵，分别根据注意焦点 的转移概率矩阵计算注意焦点在所有对象间的平稳分布，由该平稳分布中每个对象对应的概率进一步计 算视觉显著性并归一化，获得当前尺度下的归一化视觉显著图;融合各个尺度下的视觉显著图，即可获 得该遥感图像最终的视觉显著图。

本发明提出一种基于视觉特征的视频指纹检测方法，具体为：按照帧间相关性对视频序列分段，在分段中提取关键帧；在各关键帧中提取视频特征；利用像素点特征字典对像素点分类；对各关键帧分别进行多次不同数量的分块，在各子块中依据像素点的分类结果统计像素点特征字典各元素的出现次数，得到该子块的特征向量；将所有子块的特征向量拼接得到关键帧的高维视频指纹；对各高维视频指纹进行降维；将各视频片段关键帧的低维视频指纹按照时间先后顺序连成关键帧视频指纹串。本发明还提供了基于上述指纹检测方法的视频匹配方法。本发明通过对视频内容的关键信息进行有效描述，在不影响匹配率的情况下，大大降低了算法的复杂度，有效提高了检测效率。

本发明公开了一种雷达视觉融合扭矩测控系统曲线质量自动判断方法，包括如下步骤：步骤S1：进行拐点识别；步骤S2：进行疑问图形判断；步骤S3：进行特殊扣型与普通扣型判断；步骤S4：矩阵公式应用。本发明的方法显著提高了石油器械作业效率，减少了人工操作时间，降低了人为因素对判断结果的干扰，确保了判断结果的一致性和可重复性。同时，通过实时、准确地识别和分类扭矩曲线，本发明能够及时发现不合格图形并报警，避免不合格连接进入后续作业环节，从而有效保障套管连接质量，为石油开采和钻井作业提供更加可靠的技术支持。

本发明涉及显示技术与人机交互交叉领域，提供基于多模态融合模型的平板显示视觉舒适度预测方法、系统，其中方法包括：步骤一、采集原始图像集，针对每一原始图像，运用生成对抗网络模型将输入的随机序列转换为增强素材，再将增强素材和原始图像按预设比例融合，获得若干新图像；步骤二、采集生理特征和物理特征，获得训练样本；步骤三、基于堆叠集成框架训练多模态融合模型；步骤四、输入测试数据，获得视觉舒适度预测结果。本发明旨在解决平板显示视觉舒适度预测领域高质量标注样本稀缺、单一模态分析耦合关系缺失、场景适配性差的问题。

本发明提供了一种基于机器视觉的铁路散货卸料斗识别与定位方法，涉及铁路散货卸料斗跟踪与定位技术领域。该方法包括：采集目标卸料斗的深度图样本；对深度图样本执行预处理，生成样本数据集；从样本数据集中提取卸料斗的几何特征；将卸料斗的几何特征作为输入，利用CNN进行卸料斗的目标识别与定位训练，得到卸料斗识别模型；将相机捕获到的实时深度图送入卸料斗识别模型进行卸料斗的实时识别与定位，卸料斗识别模型输出卸料斗的三维空间信息和存在概率，将结果传送至控制系统，引导机械臂执行卸料操作。本发明适用于卸料作业中的实时监测，实时精确定位铲斗的当前位置，及时避免铲斗与货舱之间的冲击性损伤，提高卸料的效率与安全性。

一、设备概述         LG-IRBL02型 并联机器人视觉分拣工作站由机器人工作台、输送带、ABB四自由度并联机器人、末端执行器、视觉系统和辅助模块组成。该装置的主要任务是，机器人通过视觉定位抓取散乱工件进行高速高精度分拣放置整齐工作。该功能可用于来料分拣抓取装盒等工作。 二、技术参数 1、输入电源：单相AC200V～230V(＋10%－15%),50Hz； 2、工作环境：温度0℃～45℃，相对湿度20％～90％RH（40℃）； 3、工作站尺寸：2010mm×900mm×1850mm； 4、操作台：700mm×500mm×1350mm 5、四自由度并联机器人采用ABB IRB360-1/800并联机器人，有效负载1KG，拾料范围800mm。 三、设备组成及功能描述 1、输送带     采用两条输送带，主要完成物料输送，配合机器人对物料进行高速分拣。 2、四自由度并联工业机器人     本工作站采用的四自由度ABB IRB360-1/800并联机器人，有效负载1KG，拾料范围800mm。 3、机器人末端执行器     本工作站的机器人末端执行器即为吸盘。末端执行器安装于机器人末端安装法兰面上，用于随机器人对物料进行高速高精度的分拣。 4、视觉系统     本工作站采用欧姆龙FZ-350智能视觉系统，由视觉控制器、白色光源、视觉相机及监视显示器等组成。用于检测工件的特性，如数字、颜色、形状等，还可以对装配效果进行实时检测操作。通过视觉系统对物料的位姿进行检测，将信号传送给控制系统，控制系统通过计算分析后指令机器人对物料进行分拣。 5、机器人工作台     本工作站中并联机器人、输送带、视觉系统等其他辅助模块均集成于工作台上，布局合理、美观，使用方便。 6、辅助模块     本工作站为了保证物料机器人循环分拣物料，故在输送带另一端配装物料导向装置。 四、设备特点 1、直观性较强：主要设备均采用直接外露的安装形式，结构简单，便于学生拆装。 2、系统性强，贴近实际生产：该实训平台将目前两台典型的高速机器人（3+1轴）和机器人视觉系统有机结合，同时集成传感器、气动元器件等知识，使学生对机电一体化设备有了更直观的认识。该平台模拟了机器人实际应用，缩短学生从教室到工业现场的过度和适应时间。 3、开放性和扩展性强：该平台还可根据自己的教学需要快捷地更换主要设备，通过现场总线实现多种设备的挂接。 4、安全性高：该实训平台配备相应的漏电、过载及短路保护，能够确保操作者的人身安全。 五、实训项目 1、并联机器人的机构组成、工作原理、性能指标认识； 2、并联机器人机械系统的组成； 3、并联机器人正逆运动学分析； 4、并联机器人控制系统的学习； 5、PLC的学习与应用； 6、CoDeSys软件的了解与应用； 7、现场总线的应用； 8、机器人示教编程与再现控制原理与方法； 9、机器人PTP运动轨迹控制方法； 10、机器人视觉系统的认识及操作； 11、机器人的视觉分拣实验； 12、系统故障诊断与维护。

平顶山工业职业技术学院地处历史文化名城、新兴工业城市平顶山市白龟湖畔，是全国文明单位、首批国家示范性高等职业院校、全国普通高校毕业生就业工作先进集体、全国煤炭行业职业教育集团牵头成立单位。 学院办学历史可追溯至原煤炭工业部创建于1956年的平顶山煤矿学校。2001年，经国家教育部备案、河南省人民政府批准，平顶山工业职业技术学院正式成立。办学以来，先后向社会培养、输送各类毕业生20余万人，辐射全国各地，遍及社会各行各业，大多成为所在行业、单位的骨干力量，其中不乏国有特大型煤炭企业的主要负责人、全国五一劳动奖章获得者、国际技术比武冠军、道德模范等。 在长期的办学实践中，学院逐步形成了“面向社会、面向人人，服务地方、服务行业、服务企业、服务学生，帮助学生实现梦想”的办学理念;培养“员工型、学习型、全面发展型高端技术技能人才”的人才培养目标;“以高职教育为本，以中职教育、继续教育和培训为两翼”的发展战略;“四进”、“五个一”人才培养系统工程，走出了一条切实可行、企业社会认可的创新办学之路和特色育人之路。 目前，学院有教职工858人，其中,专任教师655名，副高级以上职称155人，双师素质教师301人，博士、硕士学位教师201人。拥有国家级优秀教学团队1个，省级优秀教学团队4个。现有各类在校生2万余人。 学院设机械工程学院、电力工程学院、计算机与软件工程学院、自动化与信息工程学院、资源开发学院、经济管理学院、化工学院、艺术学院、国际合作学院、成人教育学院、网络教育学院，文化教育部、思想政治教育部，技工学校、安全培训中心、实习实训中心、信息中心。开设汽车类、建筑类、医学类、计算机类、艺术类、管理类、煤矿类等51个专业及方向。其中，国家级重点建设专业6个、省级教学改革试点专业7个、省级特色专业建设点5个。建成国家级精品资源共享课程8门，省级精品资源共享课程23门。 学院校区占地面积1454亩，建筑面积41.27万平方米，固定资产总值4.48亿，教学仪器设备总值1.84亿，图书馆藏书107.04万册。学校建有现代化运动场、体育馆、网球场等体育教学设施，为学生提供了良好的学习生活环境。拥有与专业配套的、具有真实场景或高度仿真的实验实训基地(车间)103个，与中国平煤神马集团、平高电气集团、中兴通讯等大型企业共同建立的校外实习基地117个。其中，教育部——中兴通讯ICT行业创新基地、矿山机电实训中心综合楼、中央财政支持的煤矿安全实训基地、河南省政府支持建设的瓦斯防治实验室、数控加工实训工厂、服装加工实训工厂、煤化工高技能人才培养示范基地等均处全国、全行业领先水平。 学院先后被评为全国煤炭教育先进单位、中国企业教育培训机构百强、全国综合实力十强高职院校、河南省职业教育先进单位、河南省职业教育攻坚工作先进单位、河南省高校社会治安综合治理先进单位、河南省高职高专人才培养水平评估“优秀学院”、河南省文明标兵学校等荣誉称号。 潮平两岸阔，风正一帆悬。“十三五”期间，学院将顺应国家大力发展职业教育大潮，秉承“两个面向、四个服务”的办学理念，以 “三型人才”为培养目标，积极推进“四进”、“五个一”人才培养系统工程，为实现“国内知名、国际有影响”的高职院校战略目标夯实基础，为地方经济社会发展做出新的更大的贡献。 校址：河南省平顶山市水库路 3 号院 网址：www.pzxy.edu.cn 电话：0375-2066473 传真：0375-2066471 电子信箱： office@pzxy.edu.cn 邮编：467001

苏州工业园区职业技术学院(英文简称IVT)是为满足园区开发建设对高技能人才的需求，更好地服务于区内外资企业，在新加坡原总理吴作栋的提议下，于1997年12月经江苏省人民政府正式批准建立的一所新型高等职业技术学院。学院独墅湖新校园于2010年9月正式启用，地处苏州工业园区独墅湖科教创新区若水路1号。 学院是苏州地区18所高职院校中唯一一所国家示范性高职院校，现为全国职业教育先进单位、全国职业院校就业竞争力示范校、全国职业院校魅力校园，江苏省教学工作先进单位、江苏省教育国际合作交流先进学校，先后五次被省教育厅授予“江苏省高校毕业生就业工作先进集体”称号，办学实力位于省域前列。 二十年来，学院通过积极借鉴新加坡、德国等发达国家先进的职教经验，形成了以股份制办学体制、深度校企合作、国际化办学视野为特色的办学风格。 学院完善法人治理结构，深化股份制办学，组建了由政府主管部门、中外著名跨国公司、国内外知名高校组成的董事会，实行“董事会领导下的院长负责制” 。董事单位成员中来自美国、德国、荷兰、芬兰、比利时、加拿大、澳大利亚、韩国、新加坡等国家，企业董事21家，占董事成员的70%，跨国企业董事单位16人，占董事的53%。董事会领导下“院长负责制”的组成结构及运作机制，融合了政府、企业和学校三方资源，从政策、经费、专业等方面为学院发展提供强大支持，对学院优化发展战略起到了建设性作用。董事单位对学院的发展起着参政议政的职能，并参与到学院专业建设、课程设置、教师选拔、实训室建设、奖教金设置、学生顶岗实习等工作环节，此外，还为学院教师提供访问工程师的场所和机会，极大地推进了学院“企业+学院”双主体人才培养模式的形成。 学院坚持亲商理念和共赢原则，深度开展校企合作。在办学过程中导入了新加坡公共管理领域的“亲商理念”，并将其明确为“亲企理念”。学院发展二十年来形成了多种校企合作模式，为学院与企业共同成长，探索出了“BOSCH模式——订单培养”、“CHARMILLES模式——使用权共享”、“SAMSUNG模式——企业大学”、“同程模式——教学工厂”、“PHILIPS模式——联合实验室” 、“AMD模式——访问工程师”六种校企合作模式。通过这些合作，学院与1100家企业建立了合作关系，建立了300余个校外实习基地，校企双方做到了目标一致、标准一致和全程合作，并逐步形成了校企“双主体”人才培养模式。迄今，学院工科专业毕业生中有约40%的同学进入了世界500强企业，80%的毕业生在外资企业就业，近80%的同学担任企业生产线长、班组长、技术员、新员工培训师等。 学院坚持“三化”实践，牢固树立“人力资源是第一资源”的观念，大力实施人才强校战略，“访问工程师”培训、“全员海外项目制”培训、“海外招聘”、 “校企讲师工程师互聘”等计划，造就了一支数量与结构合理的具有“工程化、职业化、国际化”背景的专业教学团队，教师队伍的整体水平不断提高。学院聘请来自企业一线的兼职教师总数达到156人，引进、培养双师型骨干教师157名，国家教学名师1人，省级教学名师3人，江苏省“333”第三层次人才培养对象3人，江苏省“青蓝工程”培养对象9名，苏州市金鸡湖“双百”人才—苏州市高技能领军人才16人。学院还充分利用自己作为苏州博士联谊会、园区博士联谊会理事长单位的有利条件，聘请了140多位在企业中担任高层管理人员的海归、本土博士担任学院的“一美元教授”，他们既是学生了解前沿技术、企业文化的引导者，又是学院教师的“导师”，有力地推动了学院师资队伍的“国际化”进程。 学院秉承“国际职教理念、本土创新实践、区域成果分享”的办学思路，积极开展中外合作办学、开展形式多样的国际合与作交流，走出了一条独特的国际化发展之路,彰显学院国际职教理念的时代气息及不断探索创新的勃勃生机。多年来，学院与各国院校及教育机构建立了紧密合作关系，具体合作模式有：合作办学、国际专接本、国际顶岗实习、选派培训、考察团互访及承办国际技能比赛， 学院现有专业(含专业方向)44个，各类在校生5000余人，教职员工400余人。学院建有国家级重点专业6个，省级重点建设专业14个，共计20个(不重复)，占学院专业总数的47.6%;省级品牌专业1个，高水平骨干专业5个，省级特色专业7个，占学院专业总数的17.5%。共有国家精品(资源共享)课程6门，省级精品课程10门，占开设课程总数的3.03%。2011-2015学年，学院共申请受理专利643项，其中发明专利385项、实用新型专利254项，另已有104项发明专利、133项新型实用专利获得国家知识产权局授权。