该成果提出了一种基于空谱差分辅助核联合稀疏表示分类的高光谱图像分类方法。本章方法的主要创新性在于：1）能够将光谱的差分辅助信息和原光谱特征信息有效结合。2）能够考虑不同光谱属性间的高阶空间相关信息。3）原空谱和差分空谱核特征字典的信息通过具有混合正则的核联合稀疏表示分类方法得到充分利用。通过在真实高光谱图像数据上的实验表明，该成果提出的方法能够有效地提高高光谱遥感图像的分类效果。 主要技术指标 不同数据集下的训练样本与测试样本数参阅表 1. 在该训练样本集数量下的分类结果表现参见表 2. 相比于传统分类器 SVM，OA 提高了约 20%；相比于 SOMP，OA 提高了约20%。 该成果无需使用 GPU 资源在保证精度的同时有效提升了分类的精度和效果，同时在较少训练样本条件下仍能得到较好的分类精度和分类效果。 表 1. 不同数据集下的训练样本选取数量 表 2. PaviaU 大学数据下不同方法的正确率比较

大数据应用的多样化 需要的计算模型、数据模型多样化； 目前每类模型需要单独的开源系统来支持（如HDFS、HBase、Neo4j、MongoDB，Flink，Spark，Tensorflow等）。 多系统导致大数据分析平台非常复杂、效率低下。研究目标：研究和开发面向新型多计算模型融合架构的、高时效、可扩展的新 一代大数据分析支撑系统与工具平台FAST（Fusion-Architecture, Scalable, Time-efficient big data analysis platform）。针对目前大数据分析平台复杂、效率低下的痛点，该系统具有三个 方面的优势：首先，这套系统采用融合架构，一方面实现关系、图、键 值、文档等多种数据模型的高效融合，另一方面实现批处理计算、流计 算的深度融合，并可以通过SQL扩展语言来进行多模型的统一查询，实现高效的跨模型查询。其次，对于复杂系统来说，时效性非常重要，这 套系统采用融合架构提高效率是实现高时效的基础，更重要的是，我们 对大数据分析从数据到用户进行了端到端的全栈时效优化。最后，对于 大数据应用来说，系统扩展性非常重要，本系统在资源层、存储层和计 算层进行了全面的扩展性优化。下面在融合架构、高时效和可扩展这三 个方面，分别详细介绍FAST系统的三个主要亮点。融合架构FAST系统的第一个亮点是融合架构，我们在技术方面的创新主要包 括多数据模型融合和多计算模型融合两方面。多数据模型融合：设计和研发了多模型数据管理与查询引擎，支持关系、图、键值、 文档等多种数据模型，实现了查询解析、查询优化、元数据管理、数据 分布等功能，将多种数据模型进行统一管理和深度融合。同时扩展了SQL语言，通过统一的查询接口支持对关系、键值、图、文档等数据进行独立访问或者跨模型查询。经过试验，多模型数据融合查询，比Spark 2.3.4的查询时间能平均减少70.7%。目前spark等现有系统还需要手工编程方式来实现跨模型查 询，所以FAST系统在易用性上也表现良好，降低使用门槛，提高开发效率。多计算模型融合：在计算层实现了最常见的批处理计算和流计算深度融合，批流融合的核心方法是在系统内部实现批和流的统一表达，批是对有限数据集 的运算，流是对无限数据流的计算，我们设计了UCollection结构对批和 流数据进行统一表达，通过识别的bounded标志，来确定是批、流、或批流融合。有了统一表达，可以开展一系列融合优化来提升系统性能。 并且对上通过Unified API统一用户的批、流接口，实现二者在编程范式上的统一表达。对于批流混合的计算，融合架构系统的查询延迟比Flink 1.4.2能减少57%，吞吐量平均可以提升到6.72倍。高时效FAST系统的第二个亮点是高时效，即缩短大数据分析的时间消耗， 提高效率。由于大数据分析平台是一个非常复杂的系统，为了做到高时效，系统不能存在性能短板，因此需要对大数据分析的整个过程进行端到端的全栈时效优化。如图中所示，自下而上，需要在多模态存储、批流融合、机器学习、人工操作各层都进行优化。对于多模态存储，面向应用负载和异构硬件特征进行自适应优化；对于批流融合计算，在统一表达基础上，进行系列融合优化技术， 包括DAG优化、迭代优化、部署优化、操作符优化等；在机器学习层面，进行模型优化、消息优化、梯度优化、概率优化 等来提高时效；而且我们也考虑到大数据分析过程中用户人工操作的时效性问题， 通过智能地进行大数据分析方法和模型的推荐，来缩减人工操作的 时间。可扩展FAST系统的第三个亮点是可扩展，由于大数据应用规模很大，数据增速快，对系统可扩展性的要求非常高，为此我们在系统的资源层、 存储层和计算层进行了全面的扩展性优化。在资源层，系统都部署在云计算的虚拟化资源之上，利用了云计算资源的弹性机制进行系统扩展。并在系统中实现了可伸缩调整模块， 能实时监控软硬件系统的状态，按照应用需求来自适应地进行弹性伸缩。在存储层，分布式存储系统扩展性的关键在于分布式共识和一致性 协议（Raft），因此提出了KV-Raft、vRaft等进行Raft的扩展优化。在计算层，我们扩展了机器学习模型的参数规模，使系统可以支持 到百亿级别的超大规模机器学习模型训练，并且性能方面有明显提 升。亮点成果：融合架构大数据分析平台目前已经在阿里巴巴双十一进行示范应用。 从2020年11月10日至11月16日一周的时间，在阿里的生产环境中，研发 的系统一直连续稳定运行，基于淘宝和天猫的实际用户信息进行大数据 分析，综合运用了本系统的存储、计算、机器学习等多个模块的能力， 累计进行了184亿件商品推荐。同时在双十一期间，基于智能交互向导技术，也面向电子商务应用 的卖家提供了“生意参谋”应用，基于大数据分析，帮助卖家分析产品 销量变化的原因，以及促销的有效手段等。

研究背景：  大数据应用的多样化  需要的计算模型、数据模型多样化；  目前每类模型需要单独的开源系统来支持（如HDFS、HBase、Neo4j、MongoDB，Flink，Spark，Tensorflow等）。  多系统导致大数据分析平台非常复杂、效率低下。 研究目标： 研究和开发面向新型多计算模型融合架构的、高时效、可扩展的新 一代大数据分析支撑系统与工具平台FAST（Fusion-Architecture, Scalable, Time-efficient big data analysis platform）。 针对目前大数据分析平台复杂、效率低下的痛点，该系统具有三个  方面的优势：首先，这套系统采用融合架构，一方面实现关系、图、键  值、文档等多种数据模型的高效融合，另一方面实现批处理计算、流计  算的深度融合，并可以通过SQL扩展语言来进行多模型的统一查询，实现高效的跨模型查询。其次，对于复杂系统来说，时效性非常重要，这  套系统采用融合架构提高效率是实现高时效的基础，更重要的是，我们  对大数据分析从数据到用户进行了端到端的全栈时效优化。最后，对于  大数据应用来说，系统扩展性非常重要，本系统在资源层、存储层和计  算层进行了全面的扩展性优化。下面在融合架构、高时效和可扩展这三  个方面，分别详细介绍FAST系统的三个主要亮点。 融合架构 FAST系统的第一个亮点是融合架构，我们在技术方面的创新主要包  括多数据模型融合和多计算模型融合两方面。 多数据模型融合： 设计和研发了多模型数据管理与查询引擎，支持关系、图、键值、  文档等多种数据模型，实现了查询解析、查询优化、元数据管理、数据  分布等功能，将多种数据模型进行统一管理和深度融合。同时扩展了SQL语言，通过统一的查询接口支持对关系、键值、图、文档等数据进行独立访问或者跨模型查询。 经过试验，多模型数据融合查询，比Spark 2.3.4的查询时间能平均减少70.7%。目前spark等现有系统还需要手工编程方式来实现跨模型查 询，所以FAST系统在易用性上也表现良好，降低使用门槛，提高开发效率。 多计算模型融合： 在计算层实现了最常见的批处理计算和流计算深度融合，批流融合的核心方法是在系统内部实现批和流的统一表达，批是对有限数据集  的运算，流是对无限数据流的计算，我们设计了UCollection结构对批和  流数据进行统一表达，通过识别的bounded标志，来确定是批、流、或批流融合。有了统一表达，可以开展一系列融合优化来提升系统性能。 并且对上通过Unified API统一用户的批、流接口，实现二者在编程范式上的统一表达。对于批流混合的计算，融合架构系统的查询延迟比Flink 1.4.2能减少57%，吞吐量平均可以提升到6.72倍。 高时效 FAST系统的第二个亮点是高时效，即缩短大数据分析的时间消耗，  提高效率。由于大数据分析平台是一个非常复杂的系统，为了做到高时效，系统不能存在性能短板，因此需要对大数据分析的整个过程进行端到端的全栈时效优化。如图中所示，自下而上，需要在多模态存储、批流融合、机器学习、人工操作各层都进行优化。 对于多模态存储，面向应用负载和异构硬件特征进行自适应优化； 对于批流融合计算，在统一表达基础上，进行系列融合优化技术， 包括DAG优化、迭代优化、部署优化、操作符优化等； 在机器学习层面，进行模型优化、消息优化、梯度优化、概率优化 等来提高时效； 而且我们也考虑到大数据分析过程中用户人工操作的时效性问题，  通过智能地进行大数据分析方法和模型的推荐，来缩减人工操作的  时间。 可扩展 FAST系统的第三个亮点是可扩展，由于大数据应用规模很大，数据增速快，对系统可扩展性的要求非常高，为此我们在系统的资源层、  存储层和计算层进行了全面的扩展性优化。 在资源层，系统都部署在云计算的虚拟化资源之上，利用了云计算资源的弹性机制进行系统扩展。并在系统中实现了可伸缩调整模块，  能实时监控软硬件系统的状态，按照应用需求来自适应地进行弹性伸缩。 在存储层，分布式存储系统扩展性的关键在于分布式共识和一致性 协议（Raft），因此提出了KV-Raft、vRaft等进行Raft的扩展优化。 在计算层，我们扩展了机器学习模型的参数规模，使系统可以支持  到百亿级别的超大规模机器学习模型训练，并且性能方面有明显提  升。 亮点成果： 融合架构大数据分析平台目前已经在阿里巴巴双十一进行示范应用。  从2020年11月10日至11月16日一周的时间，在阿里的生产环境中，研发 的系统一直连续稳定运行，基于淘宝和天猫的实际用户信息进行大数据 分析，综合运用了本系统的存储、计算、机器学习等多个模块的能力， 累计进行了184亿件商品推荐。 同时在双十一期间，基于智能交互向导技术，也面向电子商务应用  的卖家提供了“生意参谋”应用，基于大数据分析，帮助卖家分析产品  销量变化的原因，以及促销的有效手段等。

本发明公开了一种高光谱图像端元个数自动估计的端元提取方 法，首先使用 PPI 算法计算高光谱图像中所有像元的 PPI 值，根据像 元的 PPI 值确定初始候选端元集，并对初始候选端元按 PPI 值由大到 小进行排序；然后依次剔除初始候选端元集中独立性最弱的候选端元， 同时获得随端元个数递减的候选端元集的重构精度曲线和端元独立性 曲线，通过寻找这两条曲线变化的显著性位置确定端元个数的取值范 围；最后利用 SGA 算法获取不同端元个数下的二次选择候选端元集， 根据这些候选端元集所构成的重构精度曲线，确定最终的端元个数， 同时获得最终的端元提取结果。本发明不需要事先给定端元的个数， 有利于端元提取的自动化处理，同时提取的端元准确性高。 

本发明提供基于丰度显著性分析的高光谱图像解混方法及系统，包括建立待处理的高光谱遥感图像 的端元光谱库；用基于稀疏回归的混合像元分解方法对每个像元进行初步混合像元分解并按照丰度值的 大小降序排列，对排序后的丰度序列进行显著性分析，得到显著性丰度的临界值，然后根据预设的显著 性丰度阈值进行判断组成该像元的稀疏表示端元子集；最后采用丰度约束的最小二乘法再次进行混合像 元分解，将结果作为最终的混合像元分解结果。本发明可以得到更为稀疏和准确的像元表示端元

        技术成熟度：技术突破         传统CMOS工艺的图形处理器通常是由探测、存储、处理等多个分立系统构成，不可避免的增加了集成电路的复杂性、功耗和成本，忆阻器在新型信息存储器件、存算一体化技术及人工神经网络等领域有着巨大应用潜力。         研发团队发展的感存算一体化新型光电忆阻材料与器件能够解决传统人工视听觉系统在容量、集成度、速度等方面的技术瓶颈问题，是实现高效智能视听觉传感系统的基础。研发团队首次在基于氧化钨材料忆阻突触器件的视听觉系统中模拟了速度检测的多普勒频移信息处理，进而实现高通滤波和处理具有相对时序和频移的尖峰数据。这些结果为视听觉运动感知的模拟提供了新机会，促进了其在未来神经形态传感领域的应用。         意向开展成果转化的前提条件：中试放大及产业化工艺开发资金支持

研究团队十余年来致力于光谱检测与分析领域，研发了数件产品，持有多项发明专利，发表了多篇高水平论文。例如， 1）采用紫外-可见光谱技术实现了水质COD和浊度的在线监测。自主开发了浸没式、小型化、一体化的采样分析的探头，直径仅50 mm，能耗低，可在野外无人值守环境工作。2）采用红外光谱技术实现水体CO2含量的在线监测，分辨率高，稳定性高。目前，探头正在三峡库区进行测试。3）建立一系列基于表面增强拉曼光谱效应的新型光学免疫检测方法，发展了相关纳米光学探针和微通道芯片器件，实现了血液、唾液等体外复杂环境中肿瘤标志物（包括循环肿瘤细胞、循环肿瘤DNA、肿瘤来源外泌体表面受体分子及内含miRNA分子等）的高灵敏、高通量和快速检测。

光栅光谱仪重叠光谱分级器是一台在光谱仪的光源和光探测狭缝之间安装光谱分级器件，在高度方向上将不同级次的光分离达到分离重叠光谱的目的仪器。该仪器不但以消除光栅光谱仪高级次重叠光谱，而且克服现有技术在分析不同波长的光谱时都要重新安装和选用滤光片的麻烦。 现在国内外的光谱仪器都能在紫外到红外之间进行分光和探测。由于光栅具有独特的分光特性，光栅光谱仪的应用日益广泛，且具有取代干涉光谱仪和棱镜光谱仪等的趋势。光栅光谱仪入射光源被分光器件分光以后，由光栅方程可知，一级光谱的某些谱线可能和二级、三级、四级……光谱的谱线重叠。光栅光谱仪器高级次重叠光谱常给光谱分析带来误判。以使用光栅一级光谱，工作波长在300—1000nm的光栅光谱仪为列，它在600—1000nm就叠加了300—500nm波段光的二级谱。传统的方法是就在这个叠加光谱区增加一个500nm前截止滤光片，阻止300—500nm波段的光谱信号来获得600—1000nm的光谱信号。这种方法虽然可行，但是在分析不同波长的光谱时都要重新安装和选用滤光片，相当繁琐。 而此光栅光谱仪重叠光谱分级器，由于在光谱仪光源和光探测狭缝之间增加了分光结构，在光入射到光谱仪光 深测狭缝之前将其在高度方向上分开，实现光谱重级谱线的分离。该仪器结构简单使用方便，通用便捷，与光栅光谱仪器集成使用，不需要临时拆装，可以有效消除光栅光谱仪高级次重叠光谱。

本实用新型提供一种宽光谱微型光谱仪信号处理系统，包括 FPGA 主控模块、CCD 模块、CCD 滤 波电路、AD 采样模块、USB 模块和电源，FPGA 主控模块分别与 CCD 模块、AD 采样模块、USB 模块 相连。当光信号由光纤经过分光系统分光后，由通过 FPGA 控制的 CCD 进行光电转化，转化后的模拟 电信号经过CCD滤波电路后由AD采样芯片进行高速采样并转化为数字信号存入FPGA内的缓存模块， 之后由 FPGA 内的 USB 发送

本发明涉及一种像元解混逆过程：规格化多端元分解的高光谱重构方法,其特征在于：包括多光谱图像的反射率图像进行规格化多端元分解获得高光谱数据,多光谱影像中提取的地物光谱可分解为光谱形状和像元值两本分的线性组合,规格化多端元分解的高光谱重构方法就是根据光谱库中纯端元进行不同性质的混合来获取混合场景中最优的端元组分,从而避免端元过多带来的噪声放大和端元过少造成的精度下降现象,并在精确解混的基础上考虑端元的时空变化,在减少计算量同时准确重构高光谱数据。