基于事件驱动方式的仿生视觉图像传感器，用于高速场景的拍摄 一、项目分类 关键核心技术突破、显著效益成果转化 二、成果简介 随着虚拟现实（VR）、增强现实（AR）和混合虚拟增强现实（MR）技术、自动驾驶、物联网以及机器视觉等领域的飞速发展，对图像传感器的采集速度提出了更高的要求。传统基于“帧”扫描形式的CMOS 或 CCD 图像传感器较难满足高速运动物体的拍摄需求，若提高相机的图像采集帧率，则需要采用高性能且结构复杂的模数转换器，大量的图像会带来较大的数据冗余，此外，也会面临功耗高的问题。 相比于传统的光电和图像传感器，生物视网膜具有许多不可比拟的优势。视网膜中的光感受器可根据外界光强的变化自适应调节增益，能够感知超过 180dB 的光强范围。另外，视网膜基于事件驱动式的采集方式，仅输出场景中光强发生变化的信息，因而，能够滤除低频信息带来的冗余。在信号处理和传输上，采用异步通信的方式，通过神经节细胞将光强信息转换为时空脉冲信号，实现低功耗。 受到生物视网膜的启发，研究人员提出了基于事件驱动方式的仿生视觉图像传感器，用于高速场景的拍摄。该类传感器多采用对数像素电路作为光强探测单元，因其动态响应范围宽，可随机读取。然而，对数电路在弱光环境下灵敏度低，几乎没有光响应，即仍然无法模仿视网膜弱光下的高灵敏度，除此之外，其输出受到 (Fixed Pattern Noise，FPN)的影响，降低了图像质量。 我们提出了一种兼容 CMOS 工艺的光敏二极管体偏置场效应晶体管器件(PD- body biased MOSFET，简称 PD-MOS)，其结构图和等效电路如图 1所示。 利用 PD 的感光特性以及 MOSFET 的正向衬底偏置效应实现集成光强探测及信号放大于一体的光电器件。该器件可解决对数电路在弱光下灵敏度低的问题，并且提出了一种明暗传感器的方案以降低噪声。设计成像测试方案并搭建静态图像采集测试系统，实现静态显示，通过 MTALAB 进行图像恢复从而实现动态图像显示功能。   图 1 (a) PD-MOS 器件结构及其 (b) 等效电路图 经过商用 180nm CMOS 工艺流程制备后的器件概貌如图 2 所示，图 (a) 为三种不同像素设计的芯片实物图，从上至下分别为环形结构、条形结构及对数像素电路，将其中的环形结构在显微镜下放大观察可看到图 (b) 所示的形貌，图 (c) 为4个像素的显微图。   图 2 (a) PD-MOS 成像阵列芯片的实物图，(b) 环形结构芯片在显微镜下的放大图以及 (c) 环形结构像素放大图 上位机实时显示效果如图3所示，可以明显看出两根头发相交。子图 (a) 为暗态时的 100 帧平均灰度图，子图 (b) 为暗态时的曲面图，子图 (c) (e) (g) (i) 为光态下的图，子图 (d) (f) (h) (j) 为光态下的图像数据减去暗态下图像数据的降噪图，可以发现在30nw/cm2 辐照度下已经出现头发的轮廓，当辐照度继续增加，头发的轮廓越来越清晰，当辐照度达到 3mw/cm2，仍然可以看到头发的轮廓。   图 3 阵列芯片采集的图像 不同于传统计算机视觉系统的图像采集方式，生物视觉系统的成像由视野场景中发生的事件触发，且生物视网膜具有宽动态响应范围、超低功耗以及异步传输等特点，这为仿生视觉系统的研究提供了全新的思路。随着物联网、自动驾驶以及安防等领域的快速发展，它们对高速动态图像传感器的需求也日益提升。近些年，针对这些需求，研究人员提出了一种用于采集高速动态信息的类视网膜相机，成为了一大热点研究方向。类视网膜相机的工作原理模拟了生物视网膜事件驱动型的采集方式及异步型的传输模式，为动态视觉成像提供了硬件基础。综上，该类传感器的研究具有十分重要的科研意义和深远的经济价值。

1.飞行器控制主板软件设计。2.无人机多功能一体化遥控器（图像显示）的开发3.深度智能追踪和识别目标

        技术成熟度：技术突破         领域存在着景深影响效率的突出问题，本产品以高性能异构处理器为核心运算单元，以嵌入式手段通过视觉流与控制流的严格对位，高性能实时完成视频控制信息的结算，并直接输出电机驱动信号控制相关执行机构完成闭环控制。         本产品主要面向高性能伺服闭环控制的视频应用领域，能够显著提升显微工业自动化领域的视频对焦及对位处理的效率及精度，亦可实现宏观领域的视觉嵌入化控制闭环应用。         意向开展成果转化的前提条件：中试放大及产业化工艺开发资金支持

        成熟度：技术突破         一种安全、可靠、光强稳定的数字化超高压汞灯曝光光源控制器，驱动功率高达3kW，功率调整步长小于5W，光强稳定性误差不高于0.3%@30min，汞灯触发成功率高于90%。         意向开展成果转化的前提条件：中试放大及产业化工艺开发资金支持

针对脑卒中与关节损伤高发趋势，本产品基于康复医学理论研发多关节智能康复产品，覆盖肘、膝、踝、腕等上下肢关键关节，通过对关节的反复训练，增强关节本体感觉，打开活动度，推动神经系统重组代偿，助力关节功能恢复。 本产品实现多项突破，运用高精度传感器，精准捕捉关节运动微小变化，实现人机互动与实时康复数据反馈；结合自适应算法实现动态重力补偿，精准调控角度/速度/力矩三维参数，通过循迹坐标点样线拟合生理运动轨迹；创新集成多训练模式切换系统，满足全康复周期需求；产品兼具硬/软件双重安全防护，提高产品安全性。 腕关节康复器 前臂康复器 肘关节康复器 膝关节康复器 踝关节康复器

目前国家电网共有线路160万公里，每公里每年需要投入6000元进行巡视、维护。尤其是春夏季，经常有农膜悬挂线路上，造成短路事故。线路也会有断股、瓷瓶碎裂等故障隐患，需要及时发现维修。 本产品可以代替人工进行线路的巡视、维护，并且比人工更细致、更有效率、24小时不间断地工作。产品克服了现有正在研发的机器人的缺点，具有如下优势： 1、飞行式上下线，不需停电即可作业。 2、感应式在线取电，不需要下线充电，可以在线路上长期工作。 3、可以跨越任何线路结构，做到长距离巡视 4、灵活的机械手可以清除农膜等杂物 5、结合物联网管理系统，可以及时获知机器人运行信息及巡视信息。

本项目设计了一种特殊多连杆机构，能通过腕关节屈伸产生的自身力源，来实现简单抓取动作的仿人型截肢者用假手。该假手可以用于掌部截肢者，在外观、结构、运动功能等方面进行了仿人化设计，目的是提供一种接近人体手指正常运动功能的佩戴式机械仿真手指装置。它不但具备了人体手指的屈伸运动功能，而且还具备了抓握、拿捏功能，其装置小巧，外形接近人体手指大小，适合佩戴在残缺了的手上。

模仿动物的仿生机器人为人类探索生命规律、解决相关科学问题提供了新方法和途径，在管道检测、地形侦察、家庭服务及教育等方面具备广阔的应用前景，已被列为各经济大国国家发展战略的重要研究方向之一。现有仿生机器人研究取得长足进步，但是在微小尺度内实现多模态运动、多传感器集成等方面存在诸多挑战。鼠类兼具体型小巧、姿态多样、适应性强、社交复杂，为仿生机器人研究提供了很好的创新思路。本课题组以鼠类作为仿生对象，突破了微小型仿生机器人多关节灵巧设计与系统集成关键技术，研制成功了集成度高、运动协调能力强的仿生机器鼠，机器鼠具有以下基本特点： 1）在形态及尺寸（188×55×75 mm3）上十分接近真实鼠，拥有类似真实鼠的运动特征，具备12个主动自由度，采用腿足结构，基于行走、小跑、双足跳跃等步态控制，可以适应多种复杂地形，实现从屈膝到站立、直行、扭转、匍匐前进等多种仿生运动模拟； 2）通过融合多种材料（硅胶、ABS树脂）及现代加工方法（线切割、激光加工、MEMS）优化机构设计，高度集成了控制、驱动、无线通讯、感知等模块，实现了系统设计的高度集成化、小型化、轻量化，所有模块加在一块总重量不超过250克； 4）结合视触觉传感系统，研制出了rat-brain控制系统，利用AI技术可识别当下环境中的物体，感知触碰物体表面的粗糙度及纹理特征，以及即时定位与地图重建。利用无线通信技术，在保证控制实时性的同时，可通过多机器鼠集群控制实现大规模在线任务规划。

1、具有多项深海机器人自主知识产权 2、模仿蓝鳍金枪鱼，具备水下600米的作业能力

仿生机器人技术是近年来机器人方面最热门的研究领域之一，通过借鉴自然生物的构造、机理与表征特性，探索机器人设计和控制的未知，不断创新探索机器人研究的全新可能性。 仿生机器人技术研究涉及软材料、机构设计、仿生学、微电子、控制和计算机科学等多个相关学科。在水下研究领域，仿生机器鱼不使用传统的螺旋桨推进，而是采用仿生的摆尾推进方式，噪音低、能耗低，不污染环境，在水下监测、水下安全和生物科学研究