基于事件驱动方式的仿生视觉图像传感器,用于高速场景的拍摄
一、项目分类
关键核心技术突破、显著效益成果转化
二、成果简介
随着虚拟现实(VR)、增强现实(AR)和混合虚拟增强现实(MR)技术、自动驾驶、物联网以及机器视觉等领域的飞速发展,对图像传感器的采集速度提出了更高的要求。传统基于“帧”扫描形式的CMOS 或 CCD 图像传感器较难满足高速运动物体的拍摄需求,若提高相机的图像采集帧率,则需要采用高性能且结构复杂的模数转换器,大量的图像会带来较大的数据冗余,此外,也会面临功耗高的问题。
相比于传统的光电和图像传感器,生物视网膜具有许多不可比拟的优势。视网膜中的光感受器可根据外界光强的变化自适应调节增益,能够感知超过 180dB 的光强范围。另外,视网膜基于事件驱动式的采集方式,仅输出场景中光强发生变化的信息,因而,能够滤除低频信息带来的冗余。在信号处理和传输上,采用异步通信的方式,通过神经节细胞将光强信息转换为时空脉冲信号,实现低功耗。
受到生物视网膜的启发,研究人员提出了基于事件驱动方式的仿生视觉图像传感器,用于高速场景的拍摄。该类传感器多采用对数像素电路作为光强探测单元,因其动态响应范围宽,可随机读取。然而,对数电路在弱光环境下灵敏度低,几乎没有光响应,即仍然无法模仿视网膜弱光下的高灵敏度,除此之外,其输出受到 (Fixed Pattern Noise,FPN)的影响,降低了图像质量。
我们提出了一种兼容 CMOS 工艺的光敏二极管体偏置场效应晶体管器件(PD- body biased MOSFET,简称 PD-MOS),其结构图和等效电路如图 1所示。
利用 PD 的感光特性以及 MOSFET 的正向衬底偏置效应实现集成光强探测及信号放大于一体的光电器件。该器件可解决对数电路在弱光下灵敏度低的问题,并且提出了一种明暗传感器的方案以降低噪声。设计成像测试方案并搭建静态图像采集测试系统,实现静态显示,通过 MTALAB 进行图像恢复从而实现动态图像显示功能。
图 1 (a) PD-MOS 器件结构及其 (b) 等效电路图
经过商用 180nm CMOS 工艺流程制备后的器件概貌如图 2 所示,图 (a) 为三种不同像素设计的芯片实物图,从上至下分别为环形结构、条形结构及对数像素电路,将其中的环形结构在显微镜下放大观察可看到图 (b) 所示的形貌,图 (c) 为4个像素的显微图。
图 2 (a) PD-MOS 成像阵列芯片的实物图,(b) 环形结构芯片在显微镜下的放大图以及 (c) 环形结构像素放大图
上位机实时显示效果如图3所示,可以明显看出两根头发相交。子图 (a) 为暗态时的 100 帧平均灰度图,子图 (b) 为暗态时的曲面图,子图 (c) (e) (g) (i) 为光态下的图,子图 (d) (f) (h) (j) 为光态下的图像数据减去暗态下图像数据的降噪图,可以发现在30nw/cm2 辐照度下已经出现头发的轮廓,当辐照度继续增加,头发的轮廓越来越清晰,当辐照度达到 3mw/cm2,仍然可以看到头发的轮廓。
图 3 阵列芯片采集的图像
不同于传统计算机视觉系统的图像采集方式,生物视觉系统的成像由视野场景中发生的事件触发,且生物视网膜具有宽动态响应范围、超低功耗以及异步传输等特点,这为仿生视觉系统的研究提供了全新的思路。随着物联网、自动驾驶以及安防等领域的快速发展,它们对高速动态图像传感器的需求也日益提升。近些年,针对这些需求,研究人员提出了一种用于采集高速动态信息的类视网膜相机,成为了一大热点研究方向。类视网膜相机的工作原理模拟了生物视网膜事件驱动型的采集方式及异步型的传输模式,为动态视觉成像提供了硬件基础。综上,该类传感器的研究具有十分重要的科研意义和深远的经济价值。
扫码关注,查看更多科技成果