本项目研究面向成渝地区双城经济圈大数据智能产业需求，尤其是对智能制造、公共安全场景提供高效的视频流在线推理和管理平台，研发了一个通用性的智能中台架构，支持视频流和智能模型模块化管理，支持全程可视化操作交互式界面，支持视觉智能感知模型在线推理快速部署，支持感知与识别结果实时推送、预警和报警。

1.痛点问题 元宇宙时代三维成像基础设备和数字终端成像及显示设备都将需要革命性的提升。同时，工业智能和基础科学的快速发展也对感知和成像极限提出了更高的需求。 现有的成像技术，即摄像头模组和3D成像模组，存在诸多技术和经济的缺陷，如抗扰动性能差、占据空间大、功耗大、成本高等，特别是随着传感芯片像素数的增加，传统光学成像系统需要多级较大的昂贵镜片才能实现高分辨率的成像性能，很难应用于手机等小型化设备上，不足以适应科技的高速发展。 “智能视觉感知芯片”将达成光学感知的技术革新并有效解决现存问题。通过数字自适应光学技术矫正系统像差和环境像差、实现高速重构目标景物高精度三维信息，进而实现使用普通的低成本小型化单镜片即可实现高分辨率成像，同时该芯片能够适用于不同的光学系统，包括大口径天文成像，实现高分辨率远距离成像，克服大气湍流干扰。 2.解决方案 团队提出“智能视觉感知芯片”概念，该种芯片拥有多项优势：全球领先的4D感知技术，自适应抗干扰；创新的透镜设计方案结合自主知识产权算法，可通过单摄像头模组实现原多摄像头模组功能，大幅降低现有成本、体积和功耗，显著提升分辨率。通过对目标场景进行多维度的密集采样，将多维度的耦合信息解耦，重构傅里叶面的非期望相位分布，实现高速大范围的自适应光学矫正，显著降低光学成像系统尺寸与成本，提升成像效果，同时具备三维深度感知能力。 合作需求 寻求消费电子等领域有相关技术开发、市场推广经验，能推广本技术落地的高科技企业，可以进行深度合作。

1. 痛点问题 元宇宙时代三维成像基础设备和数字终端成像及显示设备都将需要革命性的提升。同时，工业智能和基础科学的快速发展也对感知和成像极限提出了更高的需求。 现有的成像技术，即摄像头模组和3D成像模组，存在诸多技术和经济的缺陷，如抗扰动性能差、占据空间大、功耗大、成本高等，特别是随着传感芯片像素数的增加，传统光学成像系统需要多级较大的昂贵镜片才能实现高分辨率的成像性能，很难应用于手机等小型化设备上，不足以适应科技的高速发展。 “智能视觉感知芯片”将达成光学感知的技术革新并有效解决现存问题。通过数字自适应光学技术矫正系统像差和环境像差、实现高速重构目标景物高精度三维信息，进而实现使用普通的低成本小型化单镜片即可实现高分辨率成像，同时该芯片能够适用于不同的光学系统，包括大口径天文成像，实现高分辨率远距离成像，克服大气湍流干扰。 2. 解决方案 团队提出“智能视觉感知芯片”概念，该种芯片拥有多项优势：全球领先的4D感知技术，自适应抗干扰；创新的透镜设计方案结合自主知识产权算法，可通过单摄像头模组实现原多摄像头模组功能，大幅降低现有成本、体积和功耗，显著提升分辨率。通过对目标场景进行多维度的密集采样，将多维度的耦合信息解耦，重构傅里叶面的非期望相位分布，实现高速大范围的自适应光学矫正，显著降低光学成像系统尺寸与成本，提升成像效果，同时具备三维深度感知能力。 合作需求 寻求消费电子等领域有相关技术开发、市场推广经验，能推广本技术落地的高科技企业，可以进行深度合作。

产品服务:智能车载视觉服务平台以车内场景主导、软件定义、数据驱动为主，利用车内摄像头等设备，获取车内人员多维度感知数据，设计开发多款高感知、强体验的软件应用服务及产品。 随着产品的推广和数据积累，团队会增加车载安全服务如疲劳监测、车内异常行为等功能，最终打造集娱乐和安全于一体智能车载服务平台。  项目优势:平台通过集合人脸识别、表情识别、手势识别等接口，综合判断车内人员的脸部特征和行为状态等信息，这些接口可供其他应用服务调用，实现个性化设置、智能推荐等服务，使车辆真正做到 “感知”人、“理解”人、“服务人”。 市场概况:产品的客户群体主要分为私家车主、汽车生产厂商及网约车企业，政府管理部门三大类。向私家车主售卖“智能车载服务平台”设备和服务，收取软件系统费用及维护更新费实现盈利。通过与汽车生产厂商与网约车企业合作，提供新一代车内安全保障系统，收取方案费用及销售提成等方式实现盈利。与政府管理部门合作，通过开发安全监管平台等措施，实现对网约车车辆的全面监控，发现潜在风险，防患于未然。最终通过获取政府经费支持以及科研合作立项等方式实现盈利。

人工智能技术飞速发展,我国大体上能够与世界先进国家发展同步。我国拥有自主知识产权的文字识别、语音识别、中文信息处理、智能监控、生物特征识别、工业机器人、服务机器人、无人驾驶汽车等很多智能科技成果已进入市场,但是9%以上是软件、算法产品，在人工智能神经网络芯片研发方向上,我国又是落后于美国5-10年左右，可以预见的是,将来我国的人工智能神经网络硬件又将进口大量的IBM、Google、NVIDA、Braodcom等公司的产品,遵循的标准又将按美国的标准,在市场上处于弱势地位。

智能车载视觉服务平台以车内场景主导、软件定义、数据驱动为主，利用车内摄像头等设备，获取车内人员多维度感知数据，设计开发多款高感知、强体验的软件应用服务及产品。  随着产品的推广和数据积累，团队会增加车载安全服务如疲劳监测、车内异常行为等功能，最终打造集娱乐和安全于一体智能车载服务平台。    

产品详细介绍软件特点● VisionBank SVS工具库能够满足各种视觉需求，从几何物品的定位、检测、识别、测量，都能够解决● 结合灵活而强大的PC-based应用开发，VisionBank SVS软件能够以前所未有的超快速度，为各种机器视觉应用创建解决方案● VisionBank SVS软件提供中、英两种语言选择，全面兼容Win 7、Win8、Win10系统，客户可在32位与64位间无缝切换● 各工具之间的拖放可实现快速的数值、结果和图像链接。● 支持多种设备热插拔，无需断电就可添加或移除设备● 工具组可重复使用的并缩短应用开发的时间● VisionBank SVS机器视觉测量软件适用于各行业产品在线、离线尺寸测量，1/4亚像素测量精度● 几十种几何算法运算，十多种测量工具，使得测量变得简单，强大● 各工具之间的拖放可实现快速的数值、结果和图像链接。● 测量结果可以Excel ，Txt，CSV等形式输出，统计数据● 圆形、方形、棋盘格等标定板标定，比例尺标定智能视觉软件测量（计测）模块 智能视觉软件测量（计测）模块2标定 标定 高精度测量所选用的标定板标定，可使得检测精度达到um级别。亦可选用标准产品或标准块进行比例尺标定，方便、快捷，更适用于产线数据快速测量。数据存储 智能视觉软件数据存储 可将数据保存为TXT、EXCEL、CSV格式，用户可设置数据保存路径。在数据记录窗口中查看最近100天的检查记录。保存的结果数据文件和图像以日期分组。 机器人视觉引导定位模块● 系统内嵌智能形状识别引擎，能够识别常见的基本几何图形● 对于复杂形状，系统可以进行模板学习训练，进而实现复杂形状的识别● 全面兼容ABB、KUKA，FANUC、安川，川崎，新松等主流机器人，以及各类PLC控制系统实现无缝对接● 多点映射标定及标定板标定，可将图像左边转化为世界坐标、及伺服运动脉冲等● 标准协议的RS2162通讯、网络通讯（服务器、客户端），使得通讯更加简单化● 检测组织错误、表面缺陷、产品损坏、缺失等特等● 颜色检测分析、有序色块检测等● 圆度检测、轨迹检测、直线边缘毛刺检测等● OCR、OCV，读取和验证产品或元件上的字母、数字、字符等● 读取一维条码、二维DataMatrix码、QR码● 读取数据通讯输出，RS232、TCP/IP、I/O输出智能视觉系统逻辑控制、数据运算 对测量模块得到的结果进行数学计算产生新的数值，或比较两个字符串内容是否一致，可以设定固定字符串，等等图像预处理 图像预处理机器视觉 在图像预处理中可以添加一系列预处理算法对图像逐步进行预处理。后续用户选择的模块是在预处理之后的图像上执行的。 支持多种相机需求VisionBank SVS软件可以基于数百种相机平台采集图像。目前可支持Microvision GIGE/USB系列相机、Basler GIGE系列相机、AVT GIGE/USB/1394系列相机，以及维视图像智能相机.优势特点● 智能化工程管理——可同时检测同一产线上的不同型号产品● 多层级权限管理——提供“管理员”、“工程师”及“操作员”权限管理● 高自由度的扩展性——面向高级用户开放SDK版本● SDK层级的兼容性 ——系统直接搭载厂商原始驱动包● 数据转译模块——可对输入输出的信号进行“转译”，支持用户自定义规则● 本地及云端的数据存储——检测数据可本地存储也可上传到云端● 其他辅助功能——包括智能参数确定、逻辑检测、灰度直方图、系统运行日志及额外的软键盘

机器视觉智能检测与定位技术用机器视觉取代人类视觉，为传统装备增加视觉判断与智能定位功能，可实现“无人车间”的智能检测与机械手的准确定位，实现装备智能化，解放劳动力。 该技术由太原科技大学数字媒体与通信研究所独立研发、具有独立知识产权，硬件成本低于国内外同类产品。 该技术从准确性、精度、速度、硬件成本等指标上处于国际先进水平，可实现生产线装备的实时在线智能检测与定位，检测准确度97%以上，精度0.3mm以下，定位精度可达0.01mm以下。 该技术拥有中国发明专利18项，软件知识产权5项。 2015年以来，先后应用在上海地铁隧道灾害监测、沈阳公路隧道检测、西安铁路高铁桥墩裂缝检测、爱旭太阳能义乌生产线的硅片崩边缺角及隐裂检测、通威太阳能成都、合肥生产线的硅片碎检及隐裂检测，河北电力的绝缘子检测。

一、项目简介 由于众多工业企业存在工作环境噪音大、粉尘多、劳动强度大等问题，均不同程度面临着招工难的问题，生产规模很难扩大。同时，由于长时间重复机械工作，容易出现漏检和误检，整体工作效率不高。对于已上线成套设备的企业，其集成度仍较低，自动化程度及性能都亟待提高，很难满足市场的迫切需求。因此，机器换人可有效解决上述问题，而机器视觉是模拟人工操作的关键，综合利用视觉检测、模式识别、优化调度和综合信息管理等技术和方法提高生产自动化水平极为重要。 二、前期研究基础 项目组已与惠州高视科技有限公司签署合作协议“机器视觉定位平台开发与技术服务，2018.3-2019.3，50万元”，并联合厦门大学自动化系与高视科技有限公司建立“视觉定位联合实验室”，与厦门市自动化学会签署合作协议，联合建立“人工智能-机器视觉联合实验室”。研究了视觉对位平台如何实现两个目标物之间的精确对准。视觉系统需要对两个目标物分别进行拍摄，选择Mark点或者目标物的边或角的特征信息。利用视觉对位技术，实现两个目标物物理坐标之间的在X、Y轴和角度坐标的偏差，通过驱动相关运动平台，引导平台运动到贴合位置，实现视觉引导精确对位。 三、应用技术成果 开发了鞋模喷胶系统，采用传送带传送鞋模，利用工业相机采集图像，经图像处理算法检测鞋模边缘，再将处理过的边缘坐标数据传送给控制器，控制器控制喷胶器对鞋模进行喷胶。 开发了自动贴盖机系统，基于传送带传送产品，利用工业相机采集传送带上的产品图像，再通过图像处理算法定位到模板图像在采集图像中的准确位置，从而通过坐标转换将图像中的坐标转换到世界坐标，然后将数据通过串口通信传送给控制系统，控制系统会控制机械手在定位到的位置坐标贴上产品标签或者封盖。 四、合作企业 惠州高视科技有限公司是一家专业从事机器视觉应用领域设备、计算机图像处理系统解决方案研发的高科技现代化企业。公司的机器视觉产品广泛应用于液晶、电子、新能源、金属加工等行业公司秉承以人为本、合作共赢的管理理念，以技术开发为中心，以客户需求为导向，致力于成为在机器视觉检测、测量、图像识别领域杰出的系统解决方案及设备供应商。拥有11项软件著作权和5项实用新型专利。

在信息时代，机器视觉在实现智能社会方面发挥着重要作用。视觉特征提取是机器视觉的一项关键技术，该技术可以提取图像中具有鲜明特征的信息，诸如边缘、角点、圆以及图像形状等特征，这些特征是标定机器视觉系统模型参数和运用机器视觉技术进行实际应用的前提和基础。视觉特征提取技术广泛应用于自主移动智能机器人、无人驾驶和无人机等场景，这些应用场景对视觉特征提取算法的鲁棒性和帧率提出了巨大挑战。 具体来说，视觉特征提取算法包括SIFT（Scale-Invariant Feature Transform，尺度不变特征转换算法）、SURF（Speeded-Up Robust Features，加速稳健特征）、ORB（Oriented FAST and Rotated BRIEF，快速特征点提取描述）、HOG（Histogram of Oriented Gradient，方向梯度直方图）、LBP（Local Binary Patterns，局部二值模式）等。在SURF、ORB、HOG、LBP这些经典的特征提取算法中，SURF的鲁棒性相对较高，但是过于依赖主方向的选取，使得其方向变化鲁棒性不足。SIFT算法可以从图像中提取具有不变性的鲁棒局部特征，对方向变化、光照变化、噪声、杂物场景及遮挡影响等方面的鲁棒性最强，满足无人驾驶技术的需求。SIFT算法的运算量大从而导致的系统帧率低、功耗高的问题可以通过设计具有高并行度的专用硬件加速器芯片来解决。