AICheck图像智能处理平台是企业级一站式AI服务平台，集数据采集、在线样本标注、一键模型训练、任务管理、在线检测和结果输出于一体，使企业可以快速应用海量的成熟算法，降低AI算法应用与管理成本，实现端到端服务。核心技术涉及人工智能、2D/3D视觉和云计算，核心功能包括目标识别、OCR识别、瑕疵检测和目标测量。

SmarT是一个基于群体智能的协作式测试报告分析与融合平台，包括智能化测试任务分解、测试任务推荐、协作式测试报告生成、测试报告分析与融合等子系统。SmarT在具备面向大规模代码的分析技术以及基于分析的问题推荐与决策机制，能够优化参与者群体的质量评估任务分配，利用大规模群体具有的多样性实现对软件海量执行路径的有效覆盖，提高软件测试的效率和质量。SmarT也适用于软件运行阶段的质量保障，基于互联网实现对运行阶段软件故障的快速提交和提交报告的有效分类与融合

一、项目进展 创意计划阶段 二、负责人及成员 姓名 学院/所学专业 入学/毕业时间 学号 高志豪 计算机学院/物联网工程 2017年/2021年 201731064410 林钟煇 计算机学院/物联网工程 2018年/2022年 201831064119 阳旭菻 计算机学院/计算机科学与技术 2018年/2022年 201831062525 李沛键 计算机学院/物联网工程 2018年/2022年 201831064115 三、指导教师 姓名 学院/所学专业 职务/职称 研究方向 陈雁 计算机科学学院 副教授 人工智能、复杂网络、能源与人工智能交叉领域 刘忠慧 计算机科学学院 副教授 机器学习、人工智能、形式概念分析 四、项目简介 美国海相页岩气藏的成功勘探开发，展现了页岩气的巨大潜力和发展空间，同时也极大地促进了页岩储层微观结构表征分析技术的发展，通过页岩岩心薄片观察底层形态、确定底层数据，是页岩气勘探开采中的重要一环。页岩储层的孔隙作为页岩组分的一个重要部分，其结构特征直接影响着储层剩余储量的剩余油的分布，因此，对页岩薄片孔隙的形状和类型进行研究是十分必要的。但在目前，页岩薄片只能靠人工鉴定，这种方法工作量大，效率低，且主观性强，误差较大。深度学习是近年发展起来的具有多层次特征抽象归纳与知识发现能力的机器学习算法，目前已经被广泛应用到了语音识别、计算机视觉、自然语言处理等众多领域。在地质和岩石物理领域也有了初步的应用，深度学习方法在地质数据的特征提取及预测识别方面有着广阔的应用前景，本项目组将会开发页岩薄片智能平台，通过机器学习算法来学习专家知识，自动识别孔隙类型，这样就可以大大提高效率，节省人力。

智能车载视觉服务平台以车内场景主导、软件定义、数据驱动为主，利用车内摄像头等设备，获取车内人员多维度感知数据，设计开发多款高感知、强体验的软件应用服务及产品。  随着产品的推广和数据积累，团队会增加车载安全服务如疲劳监测、车内异常行为等功能，最终打造集娱乐和安全于一体智能车载服务平台。    

基于云服务的基础架构和大数据分析的核心理念，支持听、说、读、写、译全题型的智能评分，将日常教学、自主学习和测试评估有效结合，为构建多维度评价体系、进行数字化教学评估、创新教学模式等奠定基础。

汇萃人工智能实训平台采用了先进的模块化设计理念，创新性的将 python 编程、机器学习理论和方法、深度学习框架与工具等实验课程与机器人引导、机器视觉实训、人脸识别、语音识别等实践课程融合到一个平台，既有理论知识的学习，更有实践操作的体验。 平台集中展现了当前人工智能技术的主要应用场景，为培养人工智能领域人才的专业技能和素养，构建解决科研和实际工程问题的专业思维、专业方法和专业嗅觉提供了创新性的学习工具。同时，通过调整模块配置，平台还可做为智能制造领域专业训练平台，培养学生具备应对未来制造业及其它领域应用中对各种高速定位、测量、识别及检测等的专业技能要求。 // 输入电源：AC220V±10％ 50Hz// 工作环境：温度：-10 ～ 50℃，湿度≤ 90% 无水珠凝结// 外形尺寸：1500mm×900mm×700mm( 长 × 宽 × 高 )// 平台重量：220kg//额定功率：≤ 3.5KW//安全保护：急停按钮，漏电保护 , 光栅保护，接地保护 “一台多用，专业培养、灵活搭载、高效低价”， 这正是汇萃人工智能实训平台的最大特点。

近日，上海交通大学电子系义理林教授课题组基于智能锁模算法、时间拉伸技术和实时高速电路建立的实时光谱分析控制平台，实现了锁模激光器输出飞秒脉冲的实时光谱调控，对飞秒激光器的设计具有重要的应用价值。相关成果以“Intelligent control of mode-locked femtosecond pulses by time-stretch-assisted real-time spectral analysis”为题目于2020年1月发表于国际光学顶尖期刊《Light: Science & Applications》（中科院长春光机所与Nature出版集团合办期刊），并入选为封面文章，在“News & Views”栏目被专门评述。博士生蒲国庆为第一作者，义理林教授为通信作者。 图说：期刊封面文章 飞秒尺度（1E-15秒）脉冲对应着原子分子、材料、生物蛋白、化学反应等丰富物质体系的众多超快过程，有着广泛而重要的应用。锁模激光器作为产生飞秒脉冲的重要基础研究工具，在物理、化学、生物、材料、信息科学等领域都有广泛的应用。飞秒锁模激光器自上世纪六十年代发明以来，与其相关的研究分别于1999，2005，2018年获得过诺贝尔奖。 随着超快光学的快速发展，越来越多的前沿应用需要对飞秒脉冲的时域和光谱进行精细控制。由于飞秒脉冲的产生涉及非常复杂的非线性和色散传输效应，达到特定脉冲状态的稳态输出需要对激光器多个参数在高维空间进行优化，传统基于激光器光学设计和优化的方法已被证明难以精确实现。 通过对飞秒脉冲状态进行智能识别，结合智能算法对激光器多参数进行全局优化，有望获得理想的飞秒脉冲输出，但其主要挑战在于飞秒脉冲难以实时精确识别。低速时域采样无法识别飞秒脉冲宽度和形状，光谱仪虽可识别飞秒脉冲积分光谱但无法识别其瞬时光谱，因此传统方法都无法做到实时控制飞秒脉冲精确锁模状态。为了解决这一难题，义理林教授课题组提出在锁模控制环内引入时间拉伸-色散傅里叶变换（TS-DFT）技术，通过时域到光谱的转换，采用低速时域采样即可识别飞秒脉冲对应的瞬时光谱宽度和形状。结合智能控制算法，实现了以1.4nm为精度对飞秒脉冲光谱宽带从10nm到40nm进行可编程控制，光谱形状可编程为高斯型或三角形等。这是本领域首次实现飞秒锁模脉冲光谱宽度和形状高精度实时编程控制，解决了飞秒锁模脉冲锁模状态无法精确调控的难题。 基于实时的光谱控制，该研究还展示了从窄谱锁模态至宽谱锁模态以及从三角形光谱脉冲态至宽谱锁模态的演变过程，发现两者动力学过程具有相似性，提出了目标锁模状态可能决定中间动力学过程的猜想，为人们进一步探索锁模激光器内部机理提供新视角。 图说：基于快速光谱分析的飞秒锁模脉冲智能控制 非线性光学著名专家John Dudley教授（欧洲物理学会主席，IEEE/OSA Fellow）在《Light: Science & Applications》的“News & Views”栏目撰文介绍此项工作，认为本工作极具创新性，开拓了研究锁模动力学新的可能性，很可能应用于多种锁模光纤激光器中。 义理林教授课题组过去六年来一直致力于解决飞秒锁模激光器的智能控制问题，2019年发表在光学领域顶级期刊《Optica》的“智能锁模激光器”成果入选美国光学学会旗下新闻杂志《Optics & Photonics News》2019年光学年度进展“Optics in 2019”。该方向工作部分得到国家自然科学基金（61575122）的支持。《Light: Science & Applications》论文全文https://www.nature.com/articles/s41377-020-0251-x《Light: Science & Applications》“New & Views”评述论文https://www.nature.com/articles/s41377-020-0270-7

本成果采用最新的深度学习和分子模拟算法，结合新一代分子特征化方法，开发了多种计算机模型，可用于药物开发中的多个阶段，为药物的快速设计开发提供一个完整的基于人工智能的解决方案。成果：1.药物毒性预测方法：传统的化合物毒性检测技术一般需要使用生化试验、细胞实验、甚至动物模型，这些方法不仅耗费大量时间，而且成本很高。使用计算模型进行有机化合物的毒性预测，所需投入较少，但产出巨大。特别是基于化合物的物理化学和结构特性的计算模型，甚至能够在化合物合成之前就对其进行预测，大大提高了效率，使其越来越受到欢迎。在进行体外和体内试验之前先使用计算机模型对化合物进行大规模的毒性筛选，能够更好地解决候选药物具有毒性的问题。我们建立了一套新的基于多种分子指纹和机器学习算法的化合物毒性预测集成学习算法，运用此集成学习算法建立了新的有机化合物致癌性、致突变性和肝毒性预测模型。我们分别建立了名为CarcinoPred-EL (http://112.126.70.33/toxicity/CarcinoPred-EL/, 致癌性预测)、MutagenPred-EL (http://112.126.70.33/toxicity/MutagenPred-EL/, 致突变性预测)、LiverToxPred-EL (http://112.126.70.33/toxicity/LiverToxPred-EL/, 肝毒性预测)的预测服务器，这些服务器能够为使用者提供更高效更便捷的预测技术服务。自2017年服务器发表起，我们已为国内外药物分子设计研究者提供了5000多次共计超过20多万个化合物的毒性预测服务。在有机化合物毒性预测研究方向，我们主要完成了化合物的细胞毒性、心脏毒性、生殖毒性、血脑屏障透过性、水生生物毒性预测模型，以及糖尿病早期筛查模型的开发，正在进行P450酶阻滞剂性预测模型、基于图神经网络的毒性预测算法研究、基于分子对接的化合物毒性预测研究等。相关研究成果已发表多篇学术论文（Zhang L., et al. Scientific Reports, 2017, 7: 2118. WOS被引次数80，ESI 1%高被引论文；Ai H., et al. Toxicological Sciences, 2018, 165: 100-107；Yin Z., et al. Journal of Applied Toxicology. 2019, 39(10): 1366-1377；Ai H., et al. Ecotoxicology and Environmental Safety. 2019, 179: 71-78；Liu M., et al. Toxicology Letters. 2020, 332: 88-96；Feng H., et al. Toxicology Letters. 2021, 340: 4-14；Li S. et al. Interdisciplinary Sciences: Computational Life Sciences. 2021, 13: 25-33.）致癌性预测服务器首页致癌性预测结果页相关综述对本服务器的介绍RF-hERG-Score预测药物引起的hERG相关心脏毒性2.药物设计方法：在计算机上对药物靶点和药物分子的结构和活性建模，计算药物与靶点之间的相互作用关系，从而设计出具有治疗作用的药物。计算机辅助药物设计可以为药物设计各阶段的实验方案提供有意义的指导，减少需要通过实验评估的候选药物的数量，从而加快新药研发速度。我们应用分子对接、分子动力学模拟、自由能计算、机器学习等方法研究流感病毒等重要疾病的计算机辅助药物设计、并开发更有效的计算机辅助药物设计方法。在计算机辅助药物设计研究我们主要完成了流感病毒M2质子通道蛋白抑制剂虚拟筛选方法研究，正在进行先导化合物生成模型研究、基于机器学习的虚拟筛选打分函数算法开发、SARS-CoV-2病毒S蛋白与受体相互作用及药物设计研究。特异性重打分函数显著虚拟筛选性能显著较高筛选出两个候选抑制剂3.药物靶点识别方法：长非编码RNA（lncRNA）是一种长度在200nt至100,000nt之间的非编码RNA，是转录物的主要成分。研究表明lncRNA在许多生物学和病理学过程中起着重要作用。lncRNA起作用的重要途径是与其靶蛋白结合。lncRNA-蛋白质相互作用的实验研究需要大量资源。累积的实验数据使得通过计算方法预测lncRNA-蛋白质相互作用成为可能。我们使用各种数学建模和机器学习方法开发了几种用于预测lncRNA-蛋白质相互作用的新模型。这些模型命名为：RWLPAP（随机游走），LPI-NRLMF（邻域正则化逻辑矩阵分解），IRWNRLPI（集成随机游走和邻域规则化Logistic矩阵分解），LPI-BNPRA（双向网络投影推荐算法），LPI-ETSLP（基于特征值变换的半监督链路预测），HLPI-Ensemble（集成学习）。在交叉验证中，我们的模型获得了较好的预测性能。lncRNA-蛋白质相互作用预测模型的性能比较lncRNA-蛋白质相互作用预测服务器相关软件著作权：

本成果采用最新的深度学习和分子模拟算法，结合新一代分子特征化方法，开发了多种计算机模型，可用于药物开发中的多个阶段，为药物的快速设计开发提供一个完整的基于人工智能的解决方案。 成果：1.药物毒性预测方法：传统的化合物毒性检测技术一般需要使用生化试验、细胞实验、甚至动物模型，这些方法不仅耗费大量时间，而且成本很高。使用计算模型进行有机化合物的毒性预测，所需投入较少，但产出巨大。特别是基于化合物的物理化学和结构特性的计算模型，甚至能够在化合物合成之前就对其进行预测，大大提高了效率，使其越来越受到欢迎。在进行体外和体内试验之前先使用计算机模型对化合物进行大规模的毒性筛选，能够更好地解决候选药物具有毒性的问题。我们建立了一套新的基于多种分子指纹和机器学习算法的化合物毒性预测集成学习算法，运用此集成学习算法建立了新的有机化合物致癌性、致突变性和肝毒性预测模型。我们分别建立了名为CarcinoPred-EL (http://112.126.70.33/toxicity/CarcinoPred-EL/, 致癌性预测)、MutagenPred-EL (http://112.126.70.33/toxicity/MutagenPred-EL/, 致突变性预测)、LiverToxPred-EL (http://112.126.70.33/toxicity/LiverToxPred-EL/, 肝毒性预测)的预测服务器，这些服务器能够为使用者提供更高效更便捷的预测技术服务。自2017年服务器发表起，我们已为国内外药物分子设计研究者提供了5000多次共计超过20多万个化合物的毒性预测服务。在有机化合物毒性预测研究方向，我们主要完成了化合物的细胞毒性、心脏毒性、生殖毒性、血脑屏障透过性、水生生物毒性预测模型，以及糖尿病早期筛查模型的开发，正在进行P450酶阻滞剂性预测模型、基于图神经网络的毒性预测算法研究、基于分子对接的化合物毒性预测研究等。相关研究成果已发表多篇学术论文（Zhang L., et al. Scientific Reports, 2017, 7: 2118. WOS被引次数80，ESI 1%高被引论文；Ai H., et al. Toxicological Sciences, 2018, 165: 100-107；Yin Z., et al. Journal of Applied Toxicology. 2019, 39(10): 1366-1377；Ai H., et al. Ecotoxicology and Environmental Safety. 2019, 179: 71-78；Liu M., et al. Toxicology Letters. 2020, 332: 88-96；Feng H., et al. Toxicology Letters. 2021, 340: 4-14；Li S. et al. Interdisciplinary Sciences: Computational Life Sciences. 2021, 13: 25-33.） 致癌性预测服务器首页 致癌性预测结果页 相关综述对本服务器的介绍 RF-hERG-Score预测药物引起的hERG相关心脏毒性 2.药物设计方法：在计算机上对药物靶点和药物分子的结构和活性建模，计算药物与靶点之间的相互作用关系，从而设计出具有治疗作用的药物。计算机辅助药物设计可以为药物设计各阶段的实验方案提供有意义的指导，减少需要通过实验评估的候选药物的数量，从而加快新药研发速度。我们应用分子对接、分子动力学模拟、自由能计算、机器学习等方法研究流感病毒等重要疾病的计算机辅助药物设计、并开发更有效的计算机辅助药物设计方法。在计算机辅助药物设计研究我们主要完成了流感病毒M2质子通道蛋白抑制剂虚拟筛选方法研究，正在进行先导化合物生成模型研究、基于机器学习的虚拟筛选打分函数算法开发、SARS-CoV-2病毒S蛋白与受体相互作用及药物设计研究。 特异性重打分函数显著虚拟筛选性能显著较高 筛选出两个候选抑制剂 3.药物靶点识别方法：长非编码RNA（lncRNA）是一种长度在200nt至100,000nt之间的非编码RNA，是转录物的主要成分。研究表明lncRNA在许多生物学和病理学过程中起着重要作用。lncRNA起作用的重要途径是与其靶蛋白结合。lncRNA-蛋白质相互作用的实验研究需要大量资源。累积的实验数据使得通过计算方法预测lncRNA-蛋白质相互作用成为可能。我们使用各种数学建模和机器学习方法开发了几种用于预测lncRNA-蛋白质相互作用的新模型。这些模型命名为：RWLPAP（随机游走），LPI-NRLMF（邻域正则化逻辑矩阵分解），IRWNRLPI（集成随机游走和邻域规则化Logistic矩阵分解），LPI-BNPRA（双向网络投影推荐算法），LPI-ETSLP（基于特征值变换的半监督链路预测），HLPI-Ensemble（集成学习）。在交叉验证中，我们的模型获得了较好的预测性能。 lncRNA-蛋白质相互作用预测模型的性能比较 lncRNA-蛋白质相互作用预测服务器相关软件著作权：

业界首个针对AI在极端和对抗环境下的算法安全性检测与加固的工具平台“对抗样本”成新型病毒，算法安全问题亟待解决随着人工智能技术的高速发展，人工智能在诸多场景正逐渐替代或协作着人类的各种劳动，它们可以成为人类的眼睛、耳朵、手臂甚至大脑。其中，机器视觉作为AI时代的基础技术，其背后的AI算法一直是各科技巨头和创业公司共同追逐的热点。然而在机器视觉诸多主流应用场景的背后，往往也藏着由技术性缺陷导致的算法安全风险。例如，在一些训练数据无法覆盖到的极端场景中，自动驾驶汽车的识别系统可能出现匪夷所思的决策，危害乘车人的人身安全。从2016年至今，Tesla、Uber等企业的辅助驾驶和自动驾驶系统就都曾出现过类似致人死亡的严重事故。并且这类极端情形也可能被恶意制造并利用，发动“对抗样本攻击”，去年7月，百度等研究机构就曾经通过3D技术打印出能让自动驾驶“无视”的障碍物，让车辆面临撞击风险。而以上攻击之所以能成功，主要是机器视觉和人类视觉有着很大的差异。因此可以通过在图像、物体等输入信息上添加微小的扰动改变(即上述故意干扰的“对抗样本”)，就能导致很大的算法误差。此外，随着AI的进一步发展，AI算法模型将运用金融决策、医疗诊断等关键核心场景，这类AI“漏洞”的威胁将愈发凸显出来。近年来，包括清华大学人工智能研究院院长张钹院士、前微软全球执行副总裁沈向洋等均提倡要发展安全、可靠、可信的人工智能以及负责任的人工智能，其中AI的安全应用均是重点方向。而且，AI安全作为新兴领域，在开源社区、工具包的加持下，对抗样本等攻击手段日益变得复杂，相关防御手段的普及和推广却难以跟上。并且对抗样本等算法漏洞检测存在较高的技术壁垒，目前市面上缺乏自动化检测工具，而大部分企业与组织不具备该领域的专业技能来妥善应对日益增长的恶意攻击。从安全测评到防御加固，RealSafe让AI更加安全可控就如网络安全时代，网络攻击的大规模渗透诞生出杀毒软件，RealAI团队希望通过RealSafe平台打造出人工智能时代的“杀毒软件”，帮助企业高效应对人工智能时代下算法漏洞孕育出的“新型病毒”。目前，RealSafe平台主要支持两大功能模块：模型安全测评、防御解决方案。其中，模型安全评测主要为用户提供AI模型安全性评测服务。用户只需接入所需测评模型的SDK或API接口，选择平台内置或者自行上传的数据集，平台将基于多种算法生成对抗样本模拟攻击，并综合在不同算法、迭代次数、扰动量大小的攻击下模型效果的变化，给出模型安全评分及详细的测评报告(如下图)。目前已支持黑盒查询攻击方法与黑盒迁移攻击方法。防御解决方案则是为用户提供模型安全性升级服务，目前RealSafe平台支持五种去除对抗噪声的通用防御方法，可实现对输入数据的自动去噪处理，破坏攻击者恶意添加的对抗噪声。根据上述的模型安全评测结果，用户可自行选择合适的防御方案，一键提升模型安全性。另外防御效果上，根据实测来看，部分第三方的人脸比对API通过使用RealSafe平台的防御方案加固后，安全性可提高40%以上随着模型攻击手段在不断复杂扩张的情况下，RealSafe平台还持续提供广泛且深入的AI防御手段，帮助用户获得实时且自动化的漏洞检测和修复能力。准确度99.99%也难逃被“恶意干扰”，RealSafe高效应对算法威胁 考虑到公众对于对抗样本这一概念可能比较模糊，RealSafe平台特意选取了公众最为熟知的人脸比对场景(人脸比对被广泛用于金融远程开户、刷脸支付、酒店入住登记等场景的身份认证环节)提供在线体验。并且，为了深入研究“对抗样本”对人脸比对系统识别效果的影响，RealAI 团队基于此功能在国内外主流 AI 平台的演示服务中进行了测试。实测证明，“对抗样本”可以极大的干扰人脸比对系统的识别结果，而测试的这几家互联网公司平台开放的人脸比对API或SDK，几乎覆盖了目前市面上很多中小型企业在落地人脸识别应用时的选择，如果他们的人脸比对技术存在明显的安全漏洞，意味着更广泛的应用场景将存在安全隐患。因此，为了帮助更大范围内的企业高效应对算法威胁，RealSafe平台具备以下两大优势：·  组件化、零编码的在线测评：相较于ART、Foolbox等开源工具需要自行部署、编写代码，RealSafe平台采用组件化、零编码的功能设置，免去了重复造轮子的精力与时间消耗，用户只需提供相应的数据即可在线完成评估，学习成本低，无需拥有专业算法能力也可以上手操作。·可视化、可量化的评测结果：为了帮助用户提高对模型安全性的概念，RealSafe平台采用可量化的形式对安全评测结果进行展示，根据模型在对抗样本攻击下的表现进行评分，评分越高则模型安全性越高。此外，RealSafe平台提供安全性变化展示，经过防御处理后的安全评分变化以及模型效果变化一目了然。从数字世界到物理世界 RealAI落地更多安全周边产品随着机器学习模型不断的升级演化，“对抗样本”已经演变成一种新型攻击手段，并且逐渐从数字世界蔓延到物理世界：在路面上粘贴对抗样本贴纸模仿合并条带误导自动驾驶汽车拐进逆行车道、胸前张贴一张对抗样本贴纸在监控设备下实现隐身……因此，除了针对数字世界的算法模型推出安全评测平台，RealAI团队也联合清华大学AI研究院围绕多年来积累的领先世界的研究成果落地了一系列AI攻防安全产品，为更多场景保驾护航。比如通过佩戴带有对抗样本图案的“眼镜”，黑客可以轻易破解商用手机的面部解锁，通过在胸前张贴特制花纹实现在AI监控下的“隐身”，以及通过在车辆上涂装特殊花纹躲避AI对车辆的检测。发现类似新型漏洞的同时，RealAI也推出相应的防御技术，支持对主流AI算法中的安全漏洞进行检测，并提供AI安全防火墙对攻击AI模型的行为进行有效拦截。人工智能的大潮滚滚而来，随之而来的安全风险也将越来越多样化，尤其近年来因AI技术不成熟导致的侵害风险也频频发生，可以说，算法漏洞已逐渐成为继网络安全、数据安全后又一大安全难题。所幸的是，以RealAI为代表的这些顶尖AI团队早已开始了AI安全领域的征程，并开始以标准化的产品助力行业降低应对安全风险的门槛与成本。此次上线RealSafe人工智能安全平台是RealAI的一小步尝试，但对于整个行业而言，这将是人工智能产业迈向健康可控发展之路的一大步。