成果创新点 应用领域包括国防军事、汽车工业、机械故障诊断、 自动化生产线、能源化工、生物医学、体育运动等。 研制完成多种高速图像处理器件，并在短时曝光技术、 大容量数据高速传输存储技术、图像增强、视觉跟踪、图 像分割、三维测量等方面取得前沿技术突破，目前高速视 觉系统性能指标为 100 万像素 20000 帧/秒，最高帧率 100 万帧/秒，最大回传速度 20Gb/s、最远回传距离 40km。

研制完成多种高速图像处理器件，并在短时曝光技术、大容量数据高速传输存储技术、图像增强、视觉跟踪、图像分割、三维测量等方面取得前沿技术突破，目前高速视觉系统性能指标为 100 万像素 20000 帧/秒，最高帧率 100万帧/秒，最大回传速度 20Gb/s、最远回传距离 40km。

已有样品/n随着电子技术的飞速发展， 封装的小型化和组装的高密度化以及各种新型封装技术的不断涌现， 于是对检查的方法和技术提出了更高的要求。 X射线视觉系统不仅可对不可见焊点进行检测， 如BGA（球栅阵列封装） 等， 还能对检测结果进行定性、 定量分析， 可以及早发现故障。

该项目属于自动化技术领域。它为863计划中的型号研制任务“精密装配机器人（JZR）”提供了一套实用的视觉系统，应用该系统与其他传感器配合，使机器人能完成小型机电产品的装配作业，能实现装配过程的插入、拧紧等典型动作。该成果还可以应用在工业、国防、医学等其它相关领域。该系统在硬件体系结构、软件系统、识别方法等研究方面有重要创新，填补了国内空白，其主要技术指标已

一、项目进展 创意计划阶段 二、负责人及成员 姓名 学院/所学专业 入学/毕业时间 学号 史雨杰 电信院/自动化 2019.9/2023.7 201931072537 李耀辉 电信院/机器人工程 2019.9/2023.7 201931072628 刘忠跃 电信院/自动化 2018.9/2022.7 201831073203 王怡欣 电信院/自动化 2018.9/2022.7 201831073423 孟泽涛 电信院/自动化 2018.9/2022.7 201831073302 三、指导教师 姓名 学院/所学专业 职务/职称 研究方向 李杰 电气信息学院 讲师 人工智能 四、项目简介 本项目基于虚实交互技术、仿生机器狗运动控制、机器视觉、机器算法等方面展开研究。其目的在于增强虚实场景下机器狗与现实环境的交互能力，使其更快速地适应复杂地形，并借助机器视觉丰富其应用性。机器狗采用Jetson-Nano为主控板，其上运行ROS系统，采用分布式运行rosserial_arduino、rosbridge实现机器狗运动控制和虚拟场景通信的环节；利用SLAM技术精确构建地形图样，模拟人的真实视觉功能并通过图像摄取装置赋予机器狗，使机器狗能够对图像信号进行获取和识别，并通过数字化处理以实现其在多目标环境下的个体追踪功能以及对人体的姿态识别功能。

本系统旨在设计一款辅助视觉残疾人群日常生活的穿戴式设备。该系统具有纸币识别、交通标志识别、日常用物体识别及场景文字识别等功能。主要应用与辅助视觉残疾人的日常生活。、lineØ 纸币识别的功能对应于视障人群的日常生活的货币使用过程，有了这款穿戴式设备的辅助，他们可以自主的各种生活场合中使用纸币，他们只需要把纸币在设备前置摄像头前轻微晃动，设备就可以通过语音给出纸币的面值反馈给使用者。Ø 交通标志的识别是出于对视觉障碍人群安全的考虑，设备可以识别红绿灯，并且通过语音实时告知使用者，这可以有效的降低使用者在过马路危险。Ø 文字识别对应满足视觉障碍人群的阅读需求，使用者只需要把手指指向想要了解的内容，设备就会给出报纸或是书本上的文字内容，这样可以极大的便利他们的阅读需求。此外通过一定的改进和优化，系统也可以对自然场景下的文字进行识别，比如街头的广告牌、物品的外包装的文字等。Ø 该系统还可以对日常生活中常见的物品进行识别，室内的桌子、茶杯等，还有超市里的各种商品。该功能对应解决使用者在日产生活中购物的需求，有了该系统的辅助他们可以自主的在超市中选择他们想要的东西，并且完成结账。

本系统旨在设计一款辅助视觉残疾人群日常生活的穿戴式设备。该系统具有纸币识别、交通标志识别、日常用物体识别及场景文字识别等功能。主要应用与辅助视觉残疾人的日常生活。 ？ 纸币识别的功能对应于视障人群的日常生活的货币使用过程，有了这款穿戴式设备的辅助，他们可以自主的各种生活场合中使用纸币，他们只需要把纸币在设备前置摄像头前轻微晃动，设备就可以通过语音给出纸币的面值反馈给使用者。 ？ 交通标志的识别是出于对视觉障碍人群安全的考虑，设备可以识别红绿灯，并且通过语音实时告知使用者，这可以有效的降低使用者在过马路危险。 ？ 文字识别对应满足视觉障碍人群的阅读需求，使用者只需要把手指指向想要了解的内容，设备就会给出报纸或是书本上的文字内容，这样可以极大的便利他们的阅读需求。此外通过一定的改进和优化，系统也可以对自然场景下的文字进行识别，比如街头的广告牌、物品的外包装的文字等。 ？ 该系统还可以对日常生活中常见的物品进行识别，室内的桌子、茶杯等，还有超市里的各种商品。该功能对应解决使用者在日产生活中购物的需求，有了该系统的辅助他们可以自主的在超市中选择他们想要的东西，并且完成结账。 系统采用了穿戴式与计算机视觉和机器学习等理论知识相结合。穿戴式技术具有佩戴舒适甚至无感、使用过程不应干扰正常生活、使用便携的优点。这样的系统实现形式有利于简化使用者的使用门槛，提升使用体验。计算机视觉和机器学习技术，使用计算机及相关设备对生物视觉的一种模拟，可以有效的获取外接环境，通过分析外界环境做出相应的回应、给出结果。通过机器学习方法可以有效的对数据进行建模、分析。 系统设计的指标主要包括两部分，及硬件指标和软件性能指标。 硬件指标主要有以下几点： ？ 主控CPU采用的是4核CortexA9处理器 ？ RAM需要大于512M，稳定5V电源 ？ HDMI接口支持，USB 接口支持，常见音视频编解码支持 ？ 摄像头采用的720p的高清USB摄像头。 软件指标只要包括： ？ 指尖检测部分的主要包括指尖位置的检测的准确性，以及ROI确定的准确性，能否准确的划分出待识别目标所在的区域 ？ 物品识别部分主要包括可识别物品的类别，以及识别的准确率指标 ？ 对纸币识别的准确率和召回率以及计算的时间成本，主要涉及的算法的时间和空间复杂度 ？ 文字识别主要包括检测的正确率和召回率 系统基本构成如下图所示，主要包括前端固定眼镜边上的高清摄像头，后端数据处理部分采用的是AMR CortexA9四核处理器作为数据和算法处理单元。 系统基本工作流程为，以手指的一次特定手势（食指有方向性指向某个物体）为触发，系统检测到此手势后自动在手指尖端区域检测敏感信息，如字符，物体等，进一步通过计算机视觉算法，对检测的信息做识别处理，最后对识别结果进行语音播报作为反馈给使用者。用户只要用手指指向交互的给出识别的物品，那么设备就会开始读取这个场景，进行识别并将结果语音输出。 如果该产品可以得到推广，那么可以极大的帮助视觉残疾人，这一款穿戴式设备可以甚至可以改变数以千万记视障人群的日常生活，他们可以减轻对他人的依赖自由独立的生活。 目前该设备正处于原型开发期，已经取得了阶段性的成果，可以准确的定位值之间所在的位置，能较为准确的识别自然场景的中纸币面值，以及简单的文字。下一阶段着重把性能经一步优化，增添识别物体的功能。 该项目是由电子科技大学程洪教授主导的创新性高新项目。不但具有广大的市场前景，据可靠统计全国至少有各类残疾人总数超过8千万，而其中视觉残疾的人数找到15%，因此这款设备具有广阔的市场前景，可以带来一定经的经济效益。而且，更为重要定位于辅助他们日常生活产品充分体现出平等关怀的助残精神，帮助他们更好的生活是我们也是社会的责任所在。