面向视障人群的辅助视觉系统

成果简介： 本系统旨在设计一款辅助视觉残疾人群日常生活的穿戴式设备。该系统具有纸币识别、交通标志识别、日常用物体识别及场景文字识别等功能。主要应用与辅助视觉残疾人的日常生活。 纸币识别的功能对应于视障人群的日常生活的货币使用过程，有了这款穿戴式设备的辅助，他们可以自主的各种生活场合中使用纸币，他们只需要把纸币在设备前置摄像头前轻微晃动，设备就可以通过语音给出纸币的面值反馈给使用者。 交通标志的识别是出于对视觉障碍人群安全的考虑，设备可以识别红绿灯，并且通过语音实时告知使用者，这可以有效的降低使用者在过马路危险。 文字识别对应满足视觉障碍人群的阅读需求，使用者只需要把手指指向想要了解的内容，设备就会给出报纸或是书本上的文字内容，这样可以极大的便利他们的阅读需求。此外通过一定的改进和优化，系统也可以对自然场景下的文字进行识别，比如街头的广告牌、物品的外包装的文字等。 该系统还可以对日常生活中常见的物品进行识别，室内的桌子、茶杯等，还有超市里的各种商品。该功能对应解决使用者在日产生活中购物的需求，有了该系统的辅助他们可以自主的在超市中选择他们想要的东西，并且完成结账。 系统采用了穿戴式与计算机视觉和机器学习等理论知识相结合。穿戴式技术具有佩戴舒适甚至无感、使用过程不应干扰正常生活、使用便携的优点。这样的系统实现形式有利于简化使用者的使用门槛，提升使用体验。计算机视觉和机器学习技术，使用计算机及相关设备对生物视觉的一种模拟，可以有效的获取外接环境，通过分析外界环境做出相应的回应、给出结果。通过机器学习方法可以有效的对数据进行建模、分析。 系统设计的指标主要包括两部分，及硬件指标和软件性能指标。 硬件指标主要有以下几点： 主控CPU采用的是4核CortexA9处理器 RAM需要大于512M，稳定5V电源 HDMI接口支持，USB 接口支持，常见音视频编解码支持 摄像头采用的720p的高清USB摄像头 软件指标只要包括： 指尖检测部分的主要包括指尖位置的检测的准确性，以及ROI确定的准确性，能否准确的划分出待识别目标所在的区域 物品识别部分主要包括可识别物品的类别，以及识别的准确率指标 对纸币识别的准确率和召回率以及计算的时间成本，主要涉及的算法的时间和空间复杂度 文字识别主要包括检测的正确率和召回率 系统基本构成如下图所示，主要包括前端固定眼镜边上的高清摄像头，后端数据处理部分采用的是AMR CortexA9四核处理器作为数据和算法处理单元。 系统基本工作流程为，以手指的一次特定手势（食指有方向性指向某个物体）为触发，系统检测到此手势后自动在手指尖端区域检测敏感信息，如字符，物体等，进一步通过计算机视觉算法，对检测的信息做识别处理，最后对识别结果进行语音播报作为反馈给使用者。用户只要用手指指向交互的给出识别的物品，那么设备就会开始读取这个场景，进行识别并将结果语音输出。 如果该产品可以得到推广，那么可以极大的帮助视觉残疾人，这一款穿戴式设备可以甚至可以改变数以千万记视障人群的日常生活，他们可以减轻对他人的依赖自由独立的生活。 目前该设备正处于原型开发期，已经取得了阶段性的成果，可以准确的定位值之间所在的位置，能较为准确的识别自然场景的中纸币面值，以及简单的文字。下一阶段着重把性能经一步优化，增添识别物体的功能。 该项目是由电子科技大学程洪教授主导的创新性高新项目。不但具有广大的市场前景，据可靠统计全国至少有各类残疾人总数超过8千万，而其中视觉残疾的人数找到15%，因此这款设备具有广阔的市场前景，可以带来一定经的经济效益。而且，更为重要定位于辅助他们日常生活产品充分体现出平等关怀的助残精神，帮助他们更好的生活是我们也是社会的责任所在。