成果介绍人脸图像分析研究不仅能丰富和发展图像处理与分析的理论和方法，而且在教育、医疗、公安等社会服务以及公共安全等行业中具有重要的应用价值。基于人脸视觉特征的表情、身份以及亲属关系识别是当前人脸图像分析研究的前沿课题，而光照和人脸姿态变化等因素对人脸视觉特征提取与建模的影响则成为当前该研究面临的主要瓶颈。开展鲁棒人脸视觉特征的提取、建模与识别研究，突破现有研究的局限性，能显著推动人脸图像分析的研究进展，进一步满足国家在社会服务与公共安全等领域中的需求。技术创新点及参数1、 突破局部二值模式编码的视觉特征描述算子的局限性，提出局部三值模式编码的视觉特征描述算子，提出解决场景光照变化干扰以及高斯噪声干扰的图像处理一般性方法。2、 率先提出基于区域协方差矩阵的非正面表情特征描述方法，提出基于高斯混合模型和最小贝叶斯错误率估计的异方差鉴别分析方法，建立基于高斯混合模型的多视角表情识别理论。3、 率先提出基于人类学和遗传学的“父母—子女”亲属关系鉴别方法，提出以父母年轻时面部图像为桥梁的“父母—子女”亲属关系鉴别的子空间迁移学习理论和方法。4、 提出人脸视觉特征提取和识别的多流形鉴别分析理论，提出双子空间鉴别分析的增量式算法，突破双子空间鉴别分析方法的计算瓶颈。市场前景本项目围绕人脸图像中的表情、身份以及亲属关系识别等科学问题，深入开展鲁棒人脸视觉特征的提取、建模与识别的理论和方法研究，重点解决视觉场景中光照与人脸姿态变化下的鲁棒人脸视觉特征的提取与建模问题

本发明公开了一种智能视觉监控检索中提取目标运动轨迹特征的方法，包括以下步骤：获取目标运动轨迹，以二维空间坐标序列对目标运动轨迹进行描述；根据描述目标运动轨迹的二维空间坐标序列，计算描述每次采样中目标运动方向的水平分量和垂直分量；将每次采样中目标的二维空间坐标和描述每次采样中目标运动方向的纵向斜率和横向斜率合并组成每次采样中目标的流矢量；以流矢量序列对目标运动轨迹进行描述；读取预先建立的参考矢量集合；计算描述目标运动轨迹的流矢量序列到各参考矢量的距离作为该目标运动轨迹的特征向量。本发明方法使用流矢量序列描述目标运动轨迹并提取特征向量，可以在轨迹描述中同时包含位置和方向信息，避免了测量误差。

面向机器人的智能视觉环境感知及三维场景重建 面向机器人视觉的自然场景理解是近年来的研究热点和重要挑战之一，其目标是对自然场景图像及视频的内容作出有效分析、认知与表达，目前相关理论和算法正处于初期探索阶段。我们的研究成果表明，从场景视觉语义推理、场景目标识别和场景行为模式检测三个环节展开研究，有助于构建自然场景理解的创新机制，进一步开发机器人

1. 痛点问题 我们生活在一个真实的三维世界中，二维环境感知是远无法满足我们的实际需求。在诸如自动驾驶、机器人抓取和三维目标识别等应用中（如图1），我们经常需要推理三维空间中物体之间的位置关系，从而能够理解真实三维场景并做出进一步的决策行为。 图1 自动驾驶、视觉抓取、物体识别 2. 解决方案 本技术成果提出了一种三维视觉目标检测与识别方法。在三维视觉目标检测方面，提出了一种基于关系推理网络的单目三维物体检测方法，方法流程图如图2所示。方法提出了一种新的单目三维物体检测架构，训练了一个深度关系推理网络来估计三维候选和真实物体之间的空间位置关系，通过测量投影结果和真实物体之间的视觉拟合度来实现高精的三维空间定位。 图2 三维目标检测的流程图 在三维视觉目标识别方法，提出了一种基于球面分形卷积神经网络的三维点云识别技术，方法流程图如图3所示。方法通过引入球面分形结构，将原始三维点云通过可学习的神经网络投影到球面，使得卷积神经网络可以高效处理三维点云数据并进行特征特征，同时通过设计基于分形结构的层次化学习框架，提高了三维点云物体识别的精度，实现了对于三维点云目标在旋转条件下特征表示的鲁棒性。 合作需求 寻求在人工智能、智能机器人、智慧城市等领域有相关技术开发、市场推广经验，能推进本技术落地的高科技企业，可以进行深度合作。本技术成果有望在自动驾驶、虚拟现实等场景进行落地应用。

本实用新型涉及双目立体视觉测距技术，具体涉及一种多摄像头自适应的立体视觉测距装置，包括 主板，固定在主板上的左一摄像头、左二摄像头、右一摄像头、右二摄像头、右三摄像头、左数据传输 接口，及右数据传输接口，还包括外部控制板；左一摄像头、左二摄像头通过主板与左数据传输接口连 接；右一摄像头、右二摄像头、右三摄像头通过主板与右数据传输接口连接；左数据传输接口、右数据 传输接口分别与外部控制板连接。该测距装置结构简单、操作方便、成本低，具有多个摄像头，允许根 据待测物的实际位置和实际距离选择使用摄像头对，具有自适应性，可移植性强，能够实现双目立体视 觉测距所需图像数据的实时采集和传输。 

本发明提供了一种基于机器视觉的铁路散货卸料斗识别与定位方法，涉及铁路散货卸料斗跟踪与定位技术领域。该方法包括：采集目标卸料斗的深度图样本；对深度图样本执行预处理，生成样本数据集；从样本数据集中提取卸料斗的几何特征；将卸料斗的几何特征作为输入，利用CNN进行卸料斗的目标识别与定位训练，得到卸料斗识别模型；将相机捕获到的实时深度图送入卸料斗识别模型进行卸料斗的实时识别与定位，卸料斗识别模型输出卸料斗的三维空间信息和存在概率，将结果传送至控制系统，引导机械臂执行卸料操作。本发明适用于卸料作业中的实时监测，实时精确定位铲斗的当前位置，及时避免铲斗与货舱之间的冲击性损伤，提高卸料的效率与安全性。

联系我们：深圳市大象机器人科技有限公司 官网：https://www.elephantrobotics.com淘宝官方旗舰店：https://shop504055678.taobao.com/?spm=a1z10.1-c-s.0.0.2b0e58e7PY8UhV电话：+86 (0755) 8696 8565/+86 181 2384 1923地址：深圳市福田区华强北电子科技大厦D座智方舟国际智能硬件创新中心D403 D504 D505

一、设备概述         LG-IRBL02型 并联机器人视觉分拣工作站由机器人工作台、输送带、ABB四自由度并联机器人、末端执行器、视觉系统和辅助模块组成。该装置的主要任务是，机器人通过视觉定位抓取散乱工件进行高速高精度分拣放置整齐工作。该功能可用于来料分拣抓取装盒等工作。 二、技术参数 1、输入电源：单相AC200V～230V(＋10%－15%),50Hz； 2、工作环境：温度0℃～45℃，相对湿度20％～90％RH（40℃）； 3、工作站尺寸：2010mm×900mm×1850mm； 4、操作台：700mm×500mm×1350mm 5、四自由度并联机器人采用ABB IRB360-1/800并联机器人，有效负载1KG，拾料范围800mm。 三、设备组成及功能描述 1、输送带     采用两条输送带，主要完成物料输送，配合机器人对物料进行高速分拣。 2、四自由度并联工业机器人     本工作站采用的四自由度ABB IRB360-1/800并联机器人，有效负载1KG，拾料范围800mm。 3、机器人末端执行器     本工作站的机器人末端执行器即为吸盘。末端执行器安装于机器人末端安装法兰面上，用于随机器人对物料进行高速高精度的分拣。 4、视觉系统     本工作站采用欧姆龙FZ-350智能视觉系统，由视觉控制器、白色光源、视觉相机及监视显示器等组成。用于检测工件的特性，如数字、颜色、形状等，还可以对装配效果进行实时检测操作。通过视觉系统对物料的位姿进行检测，将信号传送给控制系统，控制系统通过计算分析后指令机器人对物料进行分拣。 5、机器人工作台     本工作站中并联机器人、输送带、视觉系统等其他辅助模块均集成于工作台上，布局合理、美观，使用方便。 6、辅助模块     本工作站为了保证物料机器人循环分拣物料，故在输送带另一端配装物料导向装置。 四、设备特点 1、直观性较强：主要设备均采用直接外露的安装形式，结构简单，便于学生拆装。 2、系统性强，贴近实际生产：该实训平台将目前两台典型的高速机器人（3+1轴）和机器人视觉系统有机结合，同时集成传感器、气动元器件等知识，使学生对机电一体化设备有了更直观的认识。该平台模拟了机器人实际应用，缩短学生从教室到工业现场的过度和适应时间。 3、开放性和扩展性强：该平台还可根据自己的教学需要快捷地更换主要设备，通过现场总线实现多种设备的挂接。 4、安全性高：该实训平台配备相应的漏电、过载及短路保护，能够确保操作者的人身安全。 五、实训项目 1、并联机器人的机构组成、工作原理、性能指标认识； 2、并联机器人机械系统的组成； 3、并联机器人正逆运动学分析； 4、并联机器人控制系统的学习； 5、PLC的学习与应用； 6、CoDeSys软件的了解与应用； 7、现场总线的应用； 8、机器人示教编程与再现控制原理与方法； 9、机器人PTP运动轨迹控制方法； 10、机器人视觉系统的认识及操作； 11、机器人的视觉分拣实验； 12、系统故障诊断与维护。

一、全身模拟人 *1、全身针灸模拟人设有≥300个穴位传感器（穴位应包括常见病针灸处方中的十四经穴和奇穴）。穴位点以LED灯光的形式呈现，软件端可控制穴位灯光的开启与关闭。 *2、全身模拟人：点穴模拟人模拟一成年男性，身高170CM，模拟人为整体结构（非四肢拼接而成），四肢均可自由活动。 3、针灸模拟人全身均为真实柔软的仿真皮肤、仿真实皮下与肌肉组织、手感真实触有弹性仿真皮肤有非常好的柔韧性。同一位置针刺多次不会出现明显孔位，表面形状、触摸手感均与人体无异，非常的真实。 *4、仿真模拟人体内有完整的全身骨骼仿真结构、四肢骨骼可活动，有良好的弯曲的功能。体内有完整的骨骼仿真结构,真实的展示各部位骨性标志。全身各部位关节为金属构件连接，灵活、牢固可任意摆放各种点穴取穴体位。 5、体表解剖标志明显，有明确的脊柱骨凸点、肋骨凸点、乳头、肚脐等定位特征点，并可进行点穴定位。 6、具有逼真的口腔(牙齿、舌、悬雍垂等)及气道(会厌、声门、气管等)。 7、模型材料采用了无毒、无害的环保级材料。 8、模拟人与软件之间支持有线与无线两种连接方式。 二、实训功能 *1、软件系统中打开经络或穴位，全身针灸模型人可亮起相应穴位灯。 2、每个穴位都是独立传感器，单个传感器故障不影响整个系统的使用，每个穴位传感器支持单独拆卸更换。 *3、在全身模拟人上针刺某一穴位，软件系统自动播报该穴位点名称，并跳转到相应位置，并以高亮显示，在软件中点亮某一穴位，模拟人上对应的穴位亮起。 4、可在全身模拟人上根据骨性标志、体表标志等不同取穴方式进行真实人体取穴。 *5、实时实训：针对全身的穴位可以分经络进行单独展示，配合全身模拟人进行针刺练习，触发穴位后软件进行实时响应，系统可实时显示该穴位的名称、国际代码、点位、解剖位置、主治、操作等信息，同时播报其穴位名称。 6、穴位提示：可以单独控制单一穴位的灯光提示，方便认穴练习。 7、经络练习：可以点亮一条或多条经络穴位进行相关经络学习。 8、多穴练习：可针对性的点亮多个穴位进行练习，系统给出实时反馈。 9、模型穴位灯光可实现经络的循行走向。 10、支持分层感知功能，在人体模型穴位上进行按压时，软件同步显示按压力度、按压时长及按压感知层次，并实时以视图形式呈现按压力度变化。 11、具备压力反馈功能，可根据穴位，设置不同耐受阈值，在进行按压时以视图形式呈现按压力度变化和按压时长信息。 12、系统具备压力反馈功能，穴位按压时，可调控反馈按压力度大小。 三、软件功能 1、系统包含经络腧穴解剖、点穴训练、综合病例训练、发布点穴考试等功能。 2、穴位认知包含包括十二正经、十二经别、奇经八脉共32条经脉，包含362个经穴，50余个经外奇穴。点击该穴位可直观了解穴位所在位置。针对每条经络及穴位的点位、解剖位置、主治病症、针刺手法均有详细释义，并可以利用虚拟数字人体模型交互操作使用。 3、解剖系统：包含骨骼系统，关节系统，肌肉系统，消化系统，神经系统，动脉系统，静脉系统，淋巴系统，皮肤系统，呼吸系统，泌尿生殖系统，内分泌系统等人体数字虚拟系统，方便理解中医穴位在人体结构中的毗邻关系。在系统中可对数字人体进行拆分、隐藏等多种解剖功能的操作。 4、经络循行：通过三维动效形式展示，可直观了解人体经络循行。 *5、可对数字模型进行放大、缩小、平移、一键初始状态、一键返回主页面，可前、后、左、右、上、下六视图切换三维模型视角，对任意界面进行截图保存等多种操作。 6、系统设有多种背景颜色适配多种场景。 7、语音功能：针对详细注解内容，进行对应的语音讲解。 8、透明功能：可一键透明皮肤、肌肉、骨骼，也可以调节不同层级的透明度，利于学习针灸腧穴对应的内部解剖结构。 *9、身体层级：可以对皮肤、肌肉、骨骼、动脉、静脉、内脏、神经进行隐藏和显示。 10、文字介绍：点击任意腧穴都可以显示其名称、介绍等信息。 11、即触即显：任意点击某个腧穴/某个解剖结构，可以立即显示其名称及对应结构注释。 12、搜索：输入穴位名称、拼音或代码，可在三维人体模型上快速定位到该穴位。 13、歌诀背诵：包含井荥输原经合歌、八会穴歌、络穴歌、郄穴歌、八脉交会穴歌、背腧穴歌等针灸歌诀。 14、腧穴定位体表解剖标志具备20余个重要人体解剖标志位置，可一键显示全部体表解剖标志定位点。 15、骨度分寸：以《灵枢·骨度》里的人体各部的分寸为基础，用于腧穴定位的方法。根据当前学习的穴位，一键获得根据骨度折量定位法得出的位置信息，更方便腧穴认知。 16、对称穴位：不仅可以学习单侧的经络穴位，更方便进行对侧穴位的认知学习。 17、重置或复位：一键恢复三维模型至初始状态。 *18、常见的危险穴位具有特殊标记，详细信息包含针刺异常情况表现及情况处理。 19、支持按部位显示/隐藏虚拟人体模型，可分为全身、头部、躯干部、上肢（左）、上肢（右）、下肢（左）、下肢（右）等多种模型状态。 四、取穴模块 1、取穴训练 1.1、可在模拟人身上进行全部穴位的取穴模拟。支持不少于400（单穴）个穴位的取穴练习。 1.2、系统可随机挑选10个穴位进行训练，操作结束后，系统实时给出评分，成绩单可查看每个穴位的操作过程和分值记录。 1.3、在软件虚拟人体上进行穴位的寻找与确认，实时反馈取穴位置的对错，亦可随时查询所练习腧穴的正确定位，以便即时纠正及再次练习巩固，结束训练后可自动生成训练记录。 1.4、支持以全国针灸推拿临床操作技能大赛的腧穴定位比赛规则随机出题。 2、专项取穴训练 2.1、具备教师指定和自主选择功能。 2.2、教师可以设置题组数目、组题形式，支持系统随机组题和自定义组题。 2.3、教师可自行设置取穴形式，支持一键发布训练穴位。 3、综合病例训练 3.1、包含头面躯体痛、内科、妇儿科、皮外伤科、五官科、急症等多科室的病例针灸治疗内容。 3.2、包含头痛、面痛、腰痛、面肌痉挛、落枕、颈椎病、漏肩风、坐骨神经痛、晕厥、眩晕、中风、高血压病、痹证、胁痛、痴呆、不寐、心悸、水肿等病案诊断、治疗方法。 3.3、每个针灸病例考题作答后系统自动给予正确答案对比。 4、发布取穴考试 4.1、试题类型支持智能针灸全身人身上针刺取穴和系统虚拟人身上取穴，教师可分别设置每个穴位的考核形式。 4.2、考试穴位支持按照设置的常用穴位和非常用穴位自动随机生成，支持按经络、部位等自主选择穴位生成。 五、配置清单 1、全身针灸仿真模拟人一具。 2、65寸落地式触控交互系统一套，配备可移动式支架。 3、可升降按摩床一台。 六、中医针灸数字人系统V1.0 一套

一种基于机器视觉的水稻穗颈瘟染病程度分级方法，包括以下步骤：（1）建立水稻穗颈瘟染病程度分级模型；（2）对农田现场的水稻染病程序进行测试，其过程为：（2.1）、采用多光谱成像仪拍摄农田现场的水稻的图像；（2.2）、将获得的多光谱图像去除图像背景，提取图像信息；（2.3）、获得图像的12个颜色特征；（2.4）、通过对获取的12个颜色特征进行变量标准化预处理，然后进行用以对数据降维的主成分分析，根据各主成分的贡献率，得到第一主成分和第二主成分；（2.5）、将第一主成分和第二主成分作为测试模型的输入，运行所述测试模型得到农田现场的水稻的穗颈瘟染病级别。本发明省时省力、可靠性高、效率很高。