HWRX-3型红外热像仪的视频信号是模拟信号，没有提供与计算机的数字接口，这对红外热像信息的存储、回放以及处理带来了一定的不便。因此我们设计了一套用于该红外热像仪系统的数据采集卡，Windows 98操作系统下的硬件驱动程序，以及具有多种图像显示、处理功能的用户应用程序。 视频采集卡是一个建立在复杂可编程逻辑器件（CPLD）基础上的系统。总的分为四个模块：信号调整，模数转换（ADC），

本发明公开了一种基于 FPGA 和多核 DSP 的图像传输及处理系统，包括 PC、PCI 桥、双通道切换开关、FPGA、多核 DSP、晶振、电源以及两存储器；PC 通过 PCI 桥连接 FPGA，FPGA 连接双通道切换开关，双通道切换开关连接两存储器和 DSP，DSP 通过 HPI 接口连接 FPGA，电源分别连决 FPGA 和 DSP；PC 将图像数据通过 PCI 桥传送到 FPGA，FPGA 对图像数据进行 FIFO 缓存。本发明通过乒乓的方式将连续图像数据在两存储器之间轮番交替存储并交替送至

基于事件驱动方式的仿生视觉图像传感器，用于高速场景的拍摄 一、项目分类 关键核心技术突破、显著效益成果转化 二、成果简介 随着虚拟现实（VR）、增强现实（AR）和混合虚拟增强现实（MR）技术、自动驾驶、物联网以及机器视觉等领域的飞速发展，对图像传感器的采集速度提出了更高的要求。传统基于“帧”扫描形式的CMOS 或 CCD 图像传感器较难满足高速运动物体的拍摄需求，若提高相机的图像采集帧率，则需要采用高性能且结构复杂的模数转换器，大量的图像会带来较大的数据冗余，此外，也会面临功耗高的问题。 相比于传统的光电和图像传感器，生物视网膜具有许多不可比拟的优势。视网膜中的光感受器可根据外界光强的变化自适应调节增益，能够感知超过 180dB 的光强范围。另外，视网膜基于事件驱动式的采集方式，仅输出场景中光强发生变化的信息，因而，能够滤除低频信息带来的冗余。在信号处理和传输上，采用异步通信的方式，通过神经节细胞将光强信息转换为时空脉冲信号，实现低功耗。 受到生物视网膜的启发，研究人员提出了基于事件驱动方式的仿生视觉图像传感器，用于高速场景的拍摄。该类传感器多采用对数像素电路作为光强探测单元，因其动态响应范围宽，可随机读取。然而，对数电路在弱光环境下灵敏度低，几乎没有光响应，即仍然无法模仿视网膜弱光下的高灵敏度，除此之外，其输出受到 (Fixed Pattern Noise，FPN)的影响，降低了图像质量。 我们提出了一种兼容 CMOS 工艺的光敏二极管体偏置场效应晶体管器件(PD- body biased MOSFET，简称 PD-MOS)，其结构图和等效电路如图 1所示。 利用 PD 的感光特性以及 MOSFET 的正向衬底偏置效应实现集成光强探测及信号放大于一体的光电器件。该器件可解决对数电路在弱光下灵敏度低的问题，并且提出了一种明暗传感器的方案以降低噪声。设计成像测试方案并搭建静态图像采集测试系统，实现静态显示，通过 MTALAB 进行图像恢复从而实现动态图像显示功能。   图 1 (a) PD-MOS 器件结构及其 (b) 等效电路图 经过商用 180nm CMOS 工艺流程制备后的器件概貌如图 2 所示，图 (a) 为三种不同像素设计的芯片实物图，从上至下分别为环形结构、条形结构及对数像素电路，将其中的环形结构在显微镜下放大观察可看到图 (b) 所示的形貌，图 (c) 为4个像素的显微图。   图 2 (a) PD-MOS 成像阵列芯片的实物图，(b) 环形结构芯片在显微镜下的放大图以及 (c) 环形结构像素放大图 上位机实时显示效果如图3所示，可以明显看出两根头发相交。子图 (a) 为暗态时的 100 帧平均灰度图，子图 (b) 为暗态时的曲面图，子图 (c) (e) (g) (i) 为光态下的图，子图 (d) (f) (h) (j) 为光态下的图像数据减去暗态下图像数据的降噪图，可以发现在30nw/cm2 辐照度下已经出现头发的轮廓，当辐照度继续增加，头发的轮廓越来越清晰，当辐照度达到 3mw/cm2，仍然可以看到头发的轮廓。   图 3 阵列芯片采集的图像 不同于传统计算机视觉系统的图像采集方式，生物视觉系统的成像由视野场景中发生的事件触发，且生物视网膜具有宽动态响应范围、超低功耗以及异步传输等特点，这为仿生视觉系统的研究提供了全新的思路。随着物联网、自动驾驶以及安防等领域的快速发展，它们对高速动态图像传感器的需求也日益提升。近些年，针对这些需求，研究人员提出了一种用于采集高速动态信息的类视网膜相机，成为了一大热点研究方向。类视网膜相机的工作原理模拟了生物视网膜事件驱动型的采集方式及异步型的传输模式，为动态视觉成像提供了硬件基础。综上，该类传感器的研究具有十分重要的科研意义和深远的经济价值。

苏州大学智能信息处理平台的目标是能处理多模态文字数据，精准分析语言内部结构，对人类语言进行深层理解，以支持各种应用需求。 一、项目分类 显著效益成果转化 二、技术分析 苏州大学智能信息处理平台的目标是能处理多模态文字数据，精准分析语言内部结构，对人类语言进行深层理解，以支持各种应用需求。系统可以处理多种非结构化数据，比如说明书、技术标准、车间工单等纸质文档或电子文档。把图像识别技术(OCR)和自然语言理解技术(NLP)相结合，从表单图像中抽取关键要素信息。在此基础上，我们搭建了包括知识图谱问答 (KBQA)、常见问题检索 (FAQ)、对话 (Chatbot)在内的智能问答及对话系统、以及面向大数据的文档信息抽取系统。能够对给定的自然语言问题通过查询、推理提供精准满意的答案，和面向大规模文档提供信息抽取和舆情分析等服务。目前已经向多家公司提供各项相关服务。

本项目通过收集本院耳鼻喉科6066张正常人、分泌性中耳炎、急性化脓性中耳炎活动期及化脓性中耳炎静止期耳内镜图像。 一、项目进展 创意计划阶段 二、负责人及成员 姓名 学院/所学专业 入学/毕业时间 徐倩慧 中山大学医学院 2017.09~2022.06 童钊鹏 中山大学孙逸仙纪念医院 2021.09~ 三、指导教师 姓名 学院/所学专业 职务/职称 研究方向 蔡跃新 中山大学孙逸仙纪念医院 副主任医师 耳鼻喉头颈外科 四、项目简介 本项目通过收集本院耳鼻喉科6066张正常人、分泌性中耳炎、急性化脓性中耳炎活动期及化脓性中耳炎静止期耳内镜图像。通过模仿医生诊断的注意力机制，将获取局部关键特征的局部分类器与获取全局特征的主分类器有机结合，构成深度学习的主框架。通过计算AUC等统计学指标来评估模型的性能，并与两位副主任医师、两位主治医师进行人机对比来进一步评估模型的性能，同时通过热图显示深度学习模型在耳内镜图像不同区域的权重，以判断深度学习关注的区域是否与临床医师一致。该深度学习模型可获得整体93.4%的准确率，区分正常人与分泌性中耳炎的AUC为0.99，而区分化脓性中耳炎活动期与静止期的AUC为0.94.模型的准确率要高于两位主治医师，达到副主任医师的水平，同时热图显示深度学习模型定义的关键区域恰好是临床医生做诊断的区域，如化脓性中耳炎鼓膜穿孔区域，分泌性中耳炎的光锥区域。同时，同时，本项目还将深度学习模型的技术落地，自主研发出研发便携式可拍摄与自动诊断的耳镜设备。

成果与项目的背景及主要用途：该项目是天津市科技发展计划项目，通过了科委组织的专家验收。项目组采用自顶向下的设计方法，完成了 CMOS 图像传感器 1024×768 像素阵列的版图设计，通过了仿真验证，结果达到了设计要求。在 Chartered 公司0.35um 工艺线上成功试制了关键模块和小规模完整的 CMOS 图像传感器样片。样片工作正常，能够正确的拍摄运动物体，各项指标均满足设计要求。 背景：CMOS 图像传感器是当前已广泛用于民用、工业、科技和国防领域的各类图像摄取系统，近年来民用电子产品领域发展迅猛，如照相手机、PC 机、像机等。该成果主要用于图像摄取系统的核心部件—CMOS 图像传感器设计中。 技术原理与工艺流程简介：CMOS 图像传感器利用成熟的 CMOS 工艺制作光敏像素单元，因此可以把光电接收器和信号处理电路集成在单个芯片上。 主要设计内容包括：像素阵列、消噪放大电路、模数转换器、时序控制电路和测试系统设计。采用自顶向下的设计方法，首先根据功能要求对系统进行架构设计，将系统分为时序控制电路部分（数字电路实现）和从像素阵列到 AD 转换的信号处理部分（模拟电路实现）。版图设计完成后，导出 GDSII 文件，在新加坡 Chartered 公司 0.35um 工艺线进行流片，然后进行封装。根据芯片工作对外界的要求设计 PCB电路板，搭建测试系统，对芯片功能和各项电学指标进行测试分析。  技术水平及专利与获奖情况：技术水平属国内先进。 应用前景分析及效益预测：该项目取得了 CMOS 图像传感器的核心设计技术，可用于各种CMOS图像传感器设计中，中国CMOS图像传感器市场需求庞大，年复合成长率达到 60%，因此有着广阔的应用前景。目前国外同类产品的销售价格远远高于芯片的开发成本，因此存在很大的利润空间，将产生很好的经济效益。功能上可完全兼容、并替代进，通过合作根据市场需求，随时调整产品种类和指标，使经济效益最大化。 应用领域：CMOS 图像传感器广泛应用于消费类、工业和科技等各个领域。 民用领域：拍照手机、数码相机、可视门镜、摄像机、汽车防盗等；工业领域：生产监控、安全监控等。

本发明公开了一种基于多尺度空洞融合迭代优化的增强图像隐写，适用于图像隐写领域，包括以下步骤：使用封面图像C获取其对应的增强图像E后，分别对其进行特征提取，后引入多尺度空洞融合的注意力机制；再将两个图像的特征融合得到图像X；之后与秘密连接形成载密张量M；编码器接收三个输入：图像M的特征、当前的扰动，以及这个扰动的损失函数的梯度进行拼接形成GRU单元的输入；通过反复应用编码器，最终生成的隐写图像；解码器接收编码器生成的隐写图像，经过一系列卷积，从隐写图像中恢复原始的隐藏信息；批评者网络来评估生成的隐写图像的自然性，并提供反馈；重复步骤2到5。最终生成的图像即为包含隐藏信息的隐写图像。本方法将学习和迭代优化方法结合起来，在双通道输入图像增强下结合多尺度融合注意力机制，从而找到图像中更适合隐藏信息的部分，使生成的隐写图像更加隐蔽。

相关专利提出了一种用于实验动物固定及实验动物图像融合于一体的辅助设备，用于实验动物的固定及 PET、CT 及 MR 图像融合。该系统在保障了实验动物和工作人员的安全的同时，为图像融合方式方法的研究提供依据，为科研及其临床转化提供更有效、精确、直观的帮助

相关专利提出了一种用于实验动物固定及实验动物图像融合于一体的辅助设备，用于实验动物的固定及 PET、CT 及 MR 图像融合。该系统在保障了实验动物和工作人员的安全的同时，为图像融合方式方法的研究提供依据，为科研及其临床转化提供更有效、精确、直观的帮助应用范围:这种图像融合、固定装置可应用于小动物疾病模型研究、肿瘤生成机制、肿瘤早期成像等实验研究中，在此基础上，判断所制动物模型是否符合临床需要、所移植肿瘤状态是否符合实验需要。同时，还可以为临床找到最优的图像融合方法提供依据，具有非常重要的应用价值。效益分析:基于相关专利开发的实验动物固定及图像融合设备，具有操作简便、成本合理、可重复使用等优点，其主要技术优势和性能指标如下： 一、主要技术优势 （1）可对在实验过程中的实验动物进行固定，有利于保障实验动物和工作人员的安全； （2）可实现两种或三种成像检查图像的精确融合，从而结合各成像技术的优势，为动物活体实验提供更多无创的图像信息。 二、主要性能指标 （1）对实验动物（如鼠、兔等）进行固定； （2）为小动物 PET、CT 及 MR 图像提供固定识别位点，实现两种或三种成像检查图像的精确融合。

相关专利提出了一种用于实验动物固定及实验动物图像融合于一体的辅助设备，用于实验动物的固定及 PET、CT 及 MR 图像融合。该系统在保障了实验动物和工作人员的安全的同时，为图像融合方式方法的研究提供依据，为科研及其临床转化提供更有效、精确、直观的帮助应用范围:这种图像融合、固定装置可应用于小动物疾病模型研究、肿瘤生成机制、肿瘤早期成像等实验研究中，在此基础上，判断所制动物模型是否符合临床需要、所移植肿瘤状态是否符合实验需要。同时，还可以为临床找到最优的图像融合方法提供依据，具有非常重要的应用价值。效益分析:基于相关专利开发的实验动物固定及图像融合设备，具有操作简便、成本合理、可重复使用等优点，其主要技术优势和性能指标如下： 一、主要技术优势 （1）可对在实验过程中的实验动物进行固定，有利于保障实验动物和工作人员的安全； （2）可实现两种或三种成像检查图像的精确融合，从而结合各成像技术的优势，为动物活体实验提供更多无创的图像信息。 二、主要性能指标 （1）对实验动物（如鼠、兔等）进行固定； （2）为小动物 PET、CT 及 MR 图像提供固定识别位点，实现两种或三种成像检查图像的精确融合。