本发明公开了一种基于 FPGA 和多核 DSP 的图像传输及处理系统，包括 PC、PCI 桥、双通道切换开关、FPGA、多核 DSP、晶振、电源以及两存储器；PC 通过 PCI 桥连接 FPGA，FPGA 连接双通道切换开关，双通道切换开关连接两存储器和 DSP，DSP 通过 HPI 接口连接 FPGA，电源分别连决 FPGA 和 DSP；PC 将图像数据通过 PCI 桥传送到 FPGA，FPGA 对图像数据进行 FIFO 缓存。本发明通过乒乓的方式将连续图像数据在两存储器之间轮番交替存储并交替送至

本项目通过收集本院耳鼻喉科6066张正常人、分泌性中耳炎、急性化脓性中耳炎活动期及化脓性中耳炎静止期耳内镜图像。 一、项目进展 创意计划阶段 二、负责人及成员 姓名 学院/所学专业 入学/毕业时间 徐倩慧 中山大学医学院 2017.09~2022.06 童钊鹏 中山大学孙逸仙纪念医院 2021.09~ 三、指导教师 姓名 学院/所学专业 职务/职称 研究方向 蔡跃新 中山大学孙逸仙纪念医院 副主任医师 耳鼻喉头颈外科 四、项目简介 本项目通过收集本院耳鼻喉科6066张正常人、分泌性中耳炎、急性化脓性中耳炎活动期及化脓性中耳炎静止期耳内镜图像。通过模仿医生诊断的注意力机制，将获取局部关键特征的局部分类器与获取全局特征的主分类器有机结合，构成深度学习的主框架。通过计算AUC等统计学指标来评估模型的性能，并与两位副主任医师、两位主治医师进行人机对比来进一步评估模型的性能，同时通过热图显示深度学习模型在耳内镜图像不同区域的权重，以判断深度学习关注的区域是否与临床医师一致。该深度学习模型可获得整体93.4%的准确率，区分正常人与分泌性中耳炎的AUC为0.99，而区分化脓性中耳炎活动期与静止期的AUC为0.94.模型的准确率要高于两位主治医师，达到副主任医师的水平，同时热图显示深度学习模型定义的关键区域恰好是临床医生做诊断的区域，如化脓性中耳炎鼓膜穿孔区域，分泌性中耳炎的光锥区域。同时，同时，本项目还将深度学习模型的技术落地，自主研发出研发便携式可拍摄与自动诊断的耳镜设备。

研究视频与图像的视觉特征表示与特定对象的视觉跟踪 和识别，分析视频结构化语义信息，综合视频与图像检索、 动作识别与行为分析、视频目标跟踪等技术，进而解决视频 与图像理解的难题。

 自然场景下的文字识别更加贴近于生活和生产中的需要，可以运用到许多领域： 1.    将自然场景下的文字识别应用到试卷批阅与作业批改的过程中。通过自然场景下的文字识别技术，将试卷和作业中的答案提取出来，然后依据语义分析等技术实现对整份作业试卷的批阅，使老师有更多的精力和时间投入到日常教学任务中。 2.    将自然场景下的

成果与项目的背景及主要用途： 基于最大整体相似性的超像素网格，随着当今拍照设备像素不断提高，同时照片数量成几何级数增长，在图像中进行语义级别的快速目标定位已是当下热门问题。 技术原理与工艺流程简介： 快速的在输入图像里找到事先定义的目标物体，也是当今图像检索领域里面的一个核心技术。 如下图所示： (a) 图中人偶为用户定义的查询目标 (b) 图为待查询图像 (e)~(h) 目前现有方法的目标定位的结果及所用时间 (i) 我们的技术的图像定位效果和所用时间 （注：红色框出的部分为算法定位并分割出的结果） 算法在图像快速目标定位上：快！准！狠！ 

图像处理器 嵌入式设计、任意拼接组合、录播全方位检测、自定义轮巡预案 轻松满足： ·督导巡课 ·电子巡考 ·录播管理 优势特点： ·稳定低耗 采用嵌入式架构设计，高稳定、低功耗 超强网络防护能力，有效抵御病毒攻击 ·一机多用 视频解码、状态监控等录播管理应用 图像处理、画面拼接等视频处理应用 ·便捷督导 对录播信号源进行自定义分组与分类管理 调取预览分组信号，分类巡课督导便捷化 ·自由拼接 多组画面自由拼接组合，支持任意跨屏、漫游 场景保存和自动轮巡，支持多个大屏同时监视 ·集中监测 全面录播状态监控，远程集中监视管理 实现监视状态同步显示，系统维护高效

项目成果/简介:本项目开发了一套 32 吨级工业自动吊车系统，相关技术处于国际领先地位。本展品可使吊车运送效率比当前主流方法提高 77%以上，行程 6 米时，最大定位误差不超过 5 毫米，精度非常高。同时，本展品可确保事故率降低 50%以上，使操作人员工作效率提高 2-3 倍。本展品已在天津起重设备有限公司生产的吊车上进行了大量的推广应用。 这项成果符合《中国制造 2025》的战略目标，具有非常显著的经济效益。它定位精度高，有助于实现核废料运送与处理等操作。无人式的操作方式可以使桥式吊车在各种危险环境下作业，从而进一步拓宽了其工作范围，在先进制造行业产生了非常积极的影响。 这项成果在创新性方面处国际领先水平。在吊车控制方面，国际上近 5 年来引用数排名前十名的论文中，这项成果占到 4 篇；成果第一完成人方勇纯教授应邀前往波兰华沙参加第 11 届机器人运动与控制研讨会并做大会报告（其他三位大会报告人分别来自美国，法国，葡萄牙）。2016 年，成果入选国家自然科学基金委资助项目优秀成果选编（六），信息科学部 5 年共入选成果 25 项，其它入选成果的第一完成人分别为高文院士，杨学军院士，钱锋院士，房建成院士，郝跃院士等著名专家。应用范围:吊车是应用领域最广的设备之一，我国在基础设施建设上的持续投入，为吊车类起重机械的蓬勃发展提供了非常好的机会。随着产业转型升级和战略性新兴产业发展，智能起重机是起重机行业的大势所趋，也是当前智能制造业的迫切需求。具体体现在：（1）新兴产业促使起重机趋向大吨位、高效率、自动化、智能化及多用途方向发展。（2）用户对起重机性能的要求不断提高，为此必须借助于新兴的智能技术来研制智能型起重机。（3）随着全球经济一体化，制造企业需要借助于智能起重机来提升装配水平和生产效率，增强在国际市场的竞争力。 本自动化吊车可以为地方经济和社会发展注入活力，可望形成重要的产业基地。主要体现在：（1）本自动吊车科技水平高，可以提高相关制造业的技术水平和产品竞争力。（2）本自动吊车本身及衍生产业可以提供就业机会，缓解社会压力。（3）本自动吊车主要用于具有智能化生产流程的核电、码头、建筑行业等，可带动上下游企业的发展。（4）本自动吊车具有良好的市场前景，更便于带动产业的发展，在实施地区可形成重要的产业基地。效益分析:特色 1：本展品的自动化吊车包括机械部分与电气部分，还开发了吊车自动控制软件系统。具体而言，为了实现高性能自动控制，提高实时性，设计了基于 DSP 的多轴控制板。手/自动操作可由遥控器上三个按钮进行设置，DSP 可以实时监测对应的三路信号来判断吊车的手/自动状态，以便在变频器操作模式无变化的情况下，通过 PLC实现吊车手/自动控制状态的平滑切换，自动模式由 DSP 提供控制信 号，手动模式由单片机提供。 特色 2：建模、轨迹规划、跟踪及自动快速消摆技术。提出了一种精确的多吊绳吊车模型与一种基于鱼群行为的 RNA 遗传算法的建模方法。可更为准确地刻画实际工业吊车特性，为后续控制方法设计与分析奠定坚实的基础。提出了多种便于台车跟踪的自动消摆轨迹，简单易行，效果良好。此外，提出了一种增强耦合非线性消摆控制技术、一种鲁棒滑模控制方法以及一种考虑轨道约束的自适应消摆控制技术，能充分考虑外界干扰与未建模动态的干扰，取得良好的防摆与定位控制效果。此外，考虑吊车执行器的饱和约束、部分信号不可测量等实际问题，还设计并提出了一系列行之有效的自动控制方法。 特色 3：运动体检测与三维场景重建技术。具体而言，项目组搭建了一种彩色点云获取设备，可以准确获取实际工况下带有颜色信息的三维点云。提出了一种三维的正态分布变换算法，在实际应用中取得了稳定有效的结果。为防止桥式吊车现场危险事故的发生，设计了一种智能监控系统来发现进入吊车操作现场的人，并在可能发生危险时进行警报。经大量测试，所提技术能很好地完成预定任务。 特色 4：持续扰动抑制。针对野外工作的吊车系统，设计了一种适用于持续扰动情况下的非线性复合消摆方法。除此之外，针对周期性干扰的不利影响，项目组还提出了一种重复学习与部分反馈相结合的控制方法。两种方法均可有效抑制持续干扰对吊车系统的影响。 特色 5：竖直起降技术。针对负载的起吊、落吊、水平传送过程，提出了一种非线性跟踪控制方法，该方法能保证台车及绳长变化的跟踪误差始终地保持在任意设定的范围内并收敛于零，同时能有效地消除负载的摆动，大幅提高系统的工作效率。

电路是以晶圆为载体，采用一定的工艺，把电路中的元器件和布线制作在晶圆片上，封装为 一个整体，使晶圆上每个晶粒成为具有所需电路功能的微型结构。晶圆切割的过程是将集成有 电路的整片晶圆通过划切分割成单个的晶粒，切割过程又是一种无法恢复的过程，因此，材料 和制造成本的积累以及工艺的不可重复性决定了切割工艺成为整个集成电路制造过程中最关键 和难度最大的工艺环节。 精密机械：可加工的晶圆最小直径可达50mm，在晶圆里面印刷有晶格，每个晶格的宽度 为200μm，晶格间距约为20μm，所以设备的切割精度要求控制在2μm以内，每小时切割15片。 运动平台采用高精度的直线电机平台，定位精度为2μm，重复定位精度为1μm；旋转平台的定 位精度为30″，重复定位精度为4″。 计算机自动控制：划片机系统将根据客户要求以及配合视觉检测系统传输的晶圆数据，自 动生成切割路径，在规定的工作时间内完成晶圆的切割。

温室大棚的对通风和温度控制精细化程度要求高，风口控制操 作频繁，风口控制对产量影响巨大，本产品预设控制参数之后可根据环境数据 全自动工作，风口开关频次高、最大限度的保持温室大棚内部的温度稳定，内 置三种温控算法（简单算法、分段算法、智能算法），最大限度的满足不同人 群对产品的需求，本产品创新性的把放风机接入互联网，让农民远程可以监测 温室大棚的数据，远程控制放风机的工作进而精准控制温室大棚风口的大小。 当风口或者温度异常发生时，放风机及时推送警报到互联网，从而第一时间提 醒农民进行处理。本平台对农业生产现场数据进行持久留存，提供曲线、图表 分析，利用大数据分析为农民提供生产指导，建立生产数据农民社交沟通平台。 

本项目开发了一套 32 吨级工业自动吊车系统，相关技术处于国际领先地位。本展品可使吊车运送效率比当前主流方法提高 77%以上，行程 6 米时，最大定位误差不超过 5 毫米，精度非常高。同时，本展品可确保事故率降低 50%以上，使操作人员工作效率提高 2-3 倍。本展品已在天津起重设备有限公司生产的吊车上进行了大量的推广应用。 这项成果符合《中国制造 2025》的战略目标，具有非常显著的经济效益。它定位精度高，有助于实现核废料运送与处理等操作。无人式的操作方式可以使桥式吊车在各种危险环境下作业，从而进一步拓宽了其工作范围，在先进制造行业产生了非常积极的影响。 这项成果在创新性方面处国际领先水平。在吊车控制方面，国际上近 5 年来引用数排名前十名的论文中，这项成果占到 4 篇；成果第一完成人方勇纯教授应邀前往波兰华沙参加第 11 届机器人运动与控制研讨会并做大会报告（其他三位大会报告人分别来自美国，法国，葡萄牙）。2016 年，成果入选国家自然科学基金委资助项目优秀成果选编（六），信息科学部 5 年共入选成果 25 项，其它入选成果的第一完成人分别为高文院士，杨学军院士，钱锋院士，房建成院士，郝跃院士等著名专家。