本发明公开了一种群集运动实验数据采集方法及系统，方法包括以下步骤：在实验场景中采集群集运动目标的视频；从当前视频帧中提取目标运动区域；对目标运动区域滤除背景；将滤除背景的目标运动区域与目标灰度阈值进行比较，判定大于目标阈值的像素点为可疑目标像素点，将邻近的可疑目标像素点视为一个可疑目标；将可疑目标与预定目标长度、宽度和面积阈值进行比较，判定可疑目标为个体目标、多目标重合、非目标中的一种；根据历史目标位置、速度和

产品详细介绍VGA采集卡，VGA信号采集卡，VGA视频卡，VGA压缩卡，VGA高清卡，VGA流媒体卡，RGB采集卡  --KylinesVGA-plus                 如果将一台PC机VGA数据在另一台PC上显示以及采集VGA信号，传统的方法是将VGA信号通过视频转换器VGA—VIDEO变成视频信号,再通过视频采集卡在另一台PC机上显示采集。这样VGA信号经过视频转换器变成模拟信号，再通过视频采集卡变成数字信号，在计算机上显示，这种经过数模转换，模数转换后，VGA信号的损失特别大，图像资料很差。为了解决这个问题，北京麒麟视讯科技有限公司的研发生产了KylinesVGA-plus这款VGA采集卡，即它在一台显示器上同时显示另外的一台设备的VGA数据，不用再增加额外的设备，使图像质量大幅提高，完全满足这一应用领域客户的需求。 KylinesVGA-plus 采集卡是标准PCI接口，它从别的数据源捕捉VGA数据到PC机上，在Windows桌面上用一个随卡所提供的应用程序窗口显示。KylinesVGA-plus 采集卡能将其他1路独立的VGA信号在本PC机上显示和采集，这样你会看到1路VGA信号同时在桌面上显示，不需额外的显示器。 KylinesVGA-plus卡支持Windows NT/Windows 2000/2003/Windows XP操作系统，它有更强的兼容性及更快的数据转输速度，它能同任何多屏卡配合使用。 配合KylinesVGA-plus卡以及其它多种多屏图形处理显示产品，保证用户的各种多屏、拼接应用。包括视频墙、监控指挥系统的多媒体显示、工业流程显示、宣传广告显示、在线查询及交互咨询系统等。结合微软WMEncoder或者Real编码器，可以把一路VGA信号编码成WM9，Real，MPEG4等格式，应用到网络直播，录播系统，VOD点播，远程教育培训，视讯会议等系统中。 特性 ：*系统支持： Windows NT/Windows 2000/2003/Windows XP* 半长PCI适配器 * 实时捕捉一路RGB信号 * 每路支持至1280*1024 24bit分辨率 * 最大捕捉采样速率是实时140MHz  * PCI总线控制器允许捕捉信号发送至系统内存或图形显示内存 * 数据以PCI总线、132MB/s带宽传输 * 分散集中工作表支持虚拟内存操作 * 每通道捕捉图像可按比例放大缩小 * 自动同步和视频检测，提供多同步操作 * 支持H和V分别同步、复合同步和绿同步 * 单台PC机可插多片卡允许多通图像捕捉和同步显示*可以支持2U和3U的机箱 支持二次开发：有DirectShow SDK和VC、VB SDK技术参数：Board Format: 32 bit, up to 33MHz PCI, half size plug-in card 66mm x 135mm.PCI Bus Master with scatter/gather DMA providing up to 132MB/sec.Connectors: one channel RGB input and one channel RGB loop back outputMaximum Sample Rate: 140 Mpixels per second.Video Sampling: RGB:  24 bits per pixel/8-8-8 format. Video Capture Memory: Total 32 MB Analog RGB Mode Support: 640 x 480, 800 x 600, 1024 x 768, 1280 x 1024Input Mode Detection: Automatic detection of input modes in hardware enabling the tracking of mode changes in the source signal.Pixel Display Formats: RGB:  565 or 888 pixels.YUV 4:2:2:  UYVY.YUV 4:2:0 plane mode suitable for encodeUpdate Rate: User defined, typically up to 30 frames per second, limited by available bandwidth.Triple buffered to eliminate tearing artifacts.Video Format Options: Analog RGB plus HSync and VSync (5 wire)Operating System Support: Windows® 2000 Professional, Windows® XP Professional and Windows® Server 2003.Power Requirements: Max current at +3.3V – 2.5A.Max current at +5V – 0.1A.Max power – 8 Watts.Operating Temperature: 0 to 35 deg C.Storage Temperature: -20 to 70 deg C.Relative Humidity: 5% to 90% non-condensing.Analog Input Range:  Min 0.35Vpp Nom. 0.7Vpp  Max 1.4Vpp Hsync: 15kHz - 85kHz Vsync: No hardware limits, typically 25Hz - 100Hz for real signals Separate Sync Polarity:  Positive or Negative Inputs 75 Ohm terminated 

产品详细介绍 图像采集卡,工业图像采集卡,高清图像采集卡陕西维视数字图像技术有限公司专业研发生产图像采集卡,工业图像采集卡,高清图像采集卡,采集卡、图像采集卡、图象卡、图像处理、视频采集卡、视频卡、USB图像采集卡、外置图像采集卡、外置图像采集盒、PCMCIA笔记本专图像采集卡、PC104嵌入式图像采集卡、RGB分量图象采集卡、黑白高清图像采集卡、工业图像采集卡、医疗专用图像采集卡、交通专用图像采集卡、专业图像采集卡、工业检测图像采集卡、机器视觉专用采集卡。MV-350医疗高清图像采集卡                                                             高清图像采集卡医疗高清图像采集卡9位A/D处理，图象采集分辨率:768×576最大采集和显示分辨率1024*768，支持640*480清晰度录像 支持PAL，NTSC彩色或黑白视频输入，两路AV及一路Y/C输入，软件切换医疗高清图像采集卡可在图象上实时叠加时间、汉字等，由硬件实现实时镜象、顶底倒置功能支持任意尺寸的图像采集、显示的裁剪与比例缩放模式医疗高清图像采集卡支持单场、单帧、连续场、连续帧的采集方式。 支持VFW、DirectShow，提供DEMO源程序及SDK二次开发函数库，可使用VC、VB、Delphi进行二次开发。医疗高清图像采集卡广泛应用于生物识别、病理显微、医学内镜、细胞图谱、医学图像分析、红外成像等医学影像图像采集和处理MV-400高精度、高速图象采集卡高速图象采集卡9位A/D处理，图象采集分辨率:768×576，                            独特的视频输入滤波技术端口，极大地提高了图像采集的清晰度和显示速度更适合于高精度、高速运动图像采集、处理，图像采集分辨率可达1024*768。支持PAL，NTSC彩色或黑白视频输入，两路AV及一路Y/C输入，软件快速切换高速图象采集卡硬件支持图象在水平/垂直方向任意缩小及开窗；水平清晰度可达500电视线以上；提供本公司独有的图像处理和优化压缩算法，图像采集的同时可720*576高清晰度录像。高速图象采集卡可在图象上实时叠加时间、汉字，可实时采集单场、单帧，任意间隔以及连续帧的图象采集高速图象采集卡硬件兼容性能好，工作稳定可靠，底层程序稳定，功能丰富、开发简便、便于程序移植，供货稳定，无需担心停产高速图象采集卡支持VFW、DirectShow，提供DEMO源程序及SDK二次开发函数库，可使用VC、VB、Delphi进行二次开发。广泛应用于工业检测、工业测量、机器视觉、智能交通、科学研究、图象分析及其它高精度工业图像处理分析领域。MV-600高精度工业图像采集卡高精度工业图像采集卡位A/D处理，图象采集分辨率:768×576；最大显示分辨率1024*768。支持PAL，NTSC彩色或黑白视频输入，两路AV及一路Y/C输入，软件快速切换独具的4线3D梳状滤波器能自动消除噪点,使它的图像更清晰、色彩更艳丽高精度工业图像采集卡更适合于工业现场高精度图像采集、处理，图像采集分辨率可达1024*768。高精度工业图像采集卡硬件支持图象在水平/垂直方向任意缩小及开窗，水平清晰度可达500电视线以上可实时叠加时间、汉字，可实时采集单场、单帧，任意间隔以及连续帧的图象采集；高精度工业图像采集卡提供本公司独有的图像处理和优化压缩算法，图像采集的同时可720*576高清晰度录像。带硬件触发接口、用户可以自定义加密保护自己的知识产权、提供本公司部分图像处理算法功能高精度工业图像采集卡广泛应用于工业检测、工业测量、智能交通、医学影像、工业监控、仪器仪表、机器视觉等领域。MV-750高精度图像采集卡9位A/D处理，图象采集分辨率:768×576；最大显示分辨率1024*768支持PAL，NTSC或黑白视频输入，两路AV及一路Y/C输入，软件切换可实时叠加时间、汉字，可实时采集单场、单帧，任意间隔以及连续帧图象；可由硬件实现实时镜象、实时顶底倒置功能，提供部分图像处理算法可在图象上实时中文叠加 OSD、实时视频预览、区域可调的运动检测引擎，支持网络传输功能。提供外部控制接口，可以通过外触发(如脚踏开关等)控制图像采集等功能；提供本公司独有的图像处理和优化压缩算法，图像采集的同时可720*576高清晰度录像。提供VB、VC、Delphi等二次开发包，开发示例的源代码，可以方便快速的开发自己的应用系统。广泛应用于安防监控、视频会议、工业检测、智能交通、医学影像、工业监控、仪器仪表、机器视觉等领域。MV-800 10Bit工业高清图像采集卡10位A/D处理，图像质量更高，清晰度更好，图象采集分辨率:768×576两路AV及一路Y/C输入，软件切换,支持PAL，NTSC彩色或黑白视频输入工业高清图像采集卡采用多层滤波，画面分辨率更高，色彩更加丰富艳丽，图像采集的实时性能更强工业高清图像采集卡可在图象上实时叠加时间、图形,支持单场、单帧、连续场、连续帧的采集方式。支持单机多卡,提供部分图像处理算法工业高清图像采集卡提供VB、VC、Delphi等二次开发包，开发示例的源代码，可以方便快速的开发自己的应用系统。广泛应用于工业检测、智能交通、医学影像、工业监控、仪器仪表、机器视觉等图像图像质量要求更高的领域。

大数据应用的多样化 需要的计算模型、数据模型多样化； 目前每类模型需要单独的开源系统来支持（如HDFS、HBase、Neo4j、MongoDB，Flink，Spark，Tensorflow等）。 多系统导致大数据分析平台非常复杂、效率低下。研究目标：研究和开发面向新型多计算模型融合架构的、高时效、可扩展的新 一代大数据分析支撑系统与工具平台FAST（Fusion-Architecture, Scalable, Time-efficient big data analysis platform）。针对目前大数据分析平台复杂、效率低下的痛点，该系统具有三个 方面的优势：首先，这套系统采用融合架构，一方面实现关系、图、键 值、文档等多种数据模型的高效融合，另一方面实现批处理计算、流计 算的深度融合，并可以通过SQL扩展语言来进行多模型的统一查询，实现高效的跨模型查询。其次，对于复杂系统来说，时效性非常重要，这 套系统采用融合架构提高效率是实现高时效的基础，更重要的是，我们 对大数据分析从数据到用户进行了端到端的全栈时效优化。最后，对于 大数据应用来说，系统扩展性非常重要，本系统在资源层、存储层和计 算层进行了全面的扩展性优化。下面在融合架构、高时效和可扩展这三 个方面，分别详细介绍FAST系统的三个主要亮点。融合架构FAST系统的第一个亮点是融合架构，我们在技术方面的创新主要包 括多数据模型融合和多计算模型融合两方面。多数据模型融合：设计和研发了多模型数据管理与查询引擎，支持关系、图、键值、 文档等多种数据模型，实现了查询解析、查询优化、元数据管理、数据 分布等功能，将多种数据模型进行统一管理和深度融合。同时扩展了SQL语言，通过统一的查询接口支持对关系、键值、图、文档等数据进行独立访问或者跨模型查询。经过试验，多模型数据融合查询，比Spark 2.3.4的查询时间能平均减少70.7%。目前spark等现有系统还需要手工编程方式来实现跨模型查 询，所以FAST系统在易用性上也表现良好，降低使用门槛，提高开发效率。多计算模型融合：在计算层实现了最常见的批处理计算和流计算深度融合，批流融合的核心方法是在系统内部实现批和流的统一表达，批是对有限数据集 的运算，流是对无限数据流的计算，我们设计了UCollection结构对批和 流数据进行统一表达，通过识别的bounded标志，来确定是批、流、或批流融合。有了统一表达，可以开展一系列融合优化来提升系统性能。 并且对上通过Unified API统一用户的批、流接口，实现二者在编程范式上的统一表达。对于批流混合的计算，融合架构系统的查询延迟比Flink 1.4.2能减少57%，吞吐量平均可以提升到6.72倍。高时效FAST系统的第二个亮点是高时效，即缩短大数据分析的时间消耗， 提高效率。由于大数据分析平台是一个非常复杂的系统，为了做到高时效，系统不能存在性能短板，因此需要对大数据分析的整个过程进行端到端的全栈时效优化。如图中所示，自下而上，需要在多模态存储、批流融合、机器学习、人工操作各层都进行优化。对于多模态存储，面向应用负载和异构硬件特征进行自适应优化；对于批流融合计算，在统一表达基础上，进行系列融合优化技术， 包括DAG优化、迭代优化、部署优化、操作符优化等；在机器学习层面，进行模型优化、消息优化、梯度优化、概率优化 等来提高时效；而且我们也考虑到大数据分析过程中用户人工操作的时效性问题， 通过智能地进行大数据分析方法和模型的推荐，来缩减人工操作的 时间。可扩展FAST系统的第三个亮点是可扩展，由于大数据应用规模很大，数据增速快，对系统可扩展性的要求非常高，为此我们在系统的资源层、 存储层和计算层进行了全面的扩展性优化。在资源层，系统都部署在云计算的虚拟化资源之上，利用了云计算资源的弹性机制进行系统扩展。并在系统中实现了可伸缩调整模块， 能实时监控软硬件系统的状态，按照应用需求来自适应地进行弹性伸缩。在存储层，分布式存储系统扩展性的关键在于分布式共识和一致性 协议（Raft），因此提出了KV-Raft、vRaft等进行Raft的扩展优化。在计算层，我们扩展了机器学习模型的参数规模，使系统可以支持 到百亿级别的超大规模机器学习模型训练，并且性能方面有明显提 升。亮点成果：融合架构大数据分析平台目前已经在阿里巴巴双十一进行示范应用。 从2020年11月10日至11月16日一周的时间，在阿里的生产环境中，研发 的系统一直连续稳定运行，基于淘宝和天猫的实际用户信息进行大数据 分析，综合运用了本系统的存储、计算、机器学习等多个模块的能力， 累计进行了184亿件商品推荐。同时在双十一期间，基于智能交互向导技术，也面向电子商务应用 的卖家提供了“生意参谋”应用，基于大数据分析，帮助卖家分析产品 销量变化的原因，以及促销的有效手段等。

作为全球导航卫星系统(GNSS)的后起之秀，我国自主北斗导航卫星系统(BDS)近年来迅猛发展。“十二五”及未来“十三五”期间，已有和正在发展大规模的各类地基北斗 /GPS 站网(CORS 网、GNSS/MET 网等)，同时，空基(无人机、有人机)和天基观测载荷 研制已提上日程。所有这些观测数据将形成天空地一体化网络的北斗大数据资源。随着导航、 定位、授时等北斗传统应用的日趋成熟(图 1)，北斗大数据附加值发掘及新型应用领域产 业链的拓展将前景广阔。本项目为导航卫星创新增值应用及北斗大数据信息的深度挖掘，将干扰导航定位精度的大气折射、地表反射等误差源，“变废为宝”为遥感探测的信号源，在突破我国自主导航卫 星遥感探测关键技术的基础上，从地基探测和空基(无人机、有人机)探测两个层面，实现 软硬件一体化的北斗/GPS 双模气象水文生态多要素综合监测系统。方案及成果将面向行业 应用需求，引进吸收国际前端技术，紧密结合当地资源优势，打造内蒙古自治区成为国内率 先开展北斗气象水文生态增值创新应用的省份，拓展北斗大数据在气象预报、智慧农业、智 慧水利、生态环境等领域的应用(图 1)。图 2 为北斗/GPS 环境多要素智能监测与大数据服务平台总体方案。围绕“数据获取——数据存储——分析挖掘——应用服务”这一主线进行。其中: 数据获取分为地空天三类:(1)自主研发的低成本北斗/GPS 环境多要素智能监测设备;(2)无人机搭载北斗/GPS 智能监测传感器;(3)GNSS 遥感卫星。 环境监测要素包括:农业环境生态(土壤湿度、植被水分等)、气象水文(大气水汽、积雪深度、水位等)、海洋(潮位、风场、盐度、海冰等)。 该方案将充分发挥导航卫星无源探测、高时空分辨率、低成本高产出、实时性强的优势。同时，方案涉及的监测要素及方法可实现同卫星遥感(高分卫星、降水卫星、重力卫星等) 监测的有效结合和优势互补，作为国土资源实时监测系统的有机组成部分，共同实现国家级、 区域级空天地一体化物联网遥感大数据智能监测服务。清华大学在利用地基、空基北斗/GPS 观测数据进行气象水文生态要素监测技术开发、 产品研发、软硬件研发集成等方面具备丰富的研究积累，尤其针对我国自主北斗导航系统的 创新应用，团队成果国内领先且得到国际同行的高度认可，开发并集成了一套完备的“北斗 /GPS 双模多要素智能监测”整体解决方案。除发表高水平学术论文外，已申请多项发明专 利和软件著作权(表 1)，2016 年技术成果已通过软硬件服务在青海(气象/水利/环境)、四 川(农业/气象)、山东(农业)、北京(科研单位)等地取得了初期经济效益。中心已具备 的技术基础与部分成果展示如图 3-图 6 所示，包括全国范围地基综合观测站网建设(图 3)、 空基试验与技术攻关(图 4)、监测产品研发(图 5)、软硬件设备自主研发(图 6)。所有这 些技术积累将为本方案的顺利实施提供有力保障。目前市场上尚无相关产品，并且本项目的成果产出可从如下几个方向进行多层次、全方 位的市场化对接:(1)软件模块:研制内容一产出的气象水文生态监测要素估算软件模块，可同以北斗 导航定位为主打方向的企业对接，通过嵌入本软件模块，拓宽其业务范围，在为农业、气象、 水利等部门提供导航定位服务的同时，融入气象水文生态要素同步监测的功能。不同需求定 制的软件模块按 1-10 万元每套计算，初期市场年需求量预计 50 套，预计每年产生收益 50-500 万元，市场成熟后可面向全国推广，年收益可达 1000-5000 万元。(2)监测产品:研制内容一产出的气象水文生态监测要素产品，如通过 SDCORS 监测 网络附加得到的多要素监测产品，可实现政府买单为行业公众提供服务。可与高校、科研院 所等联合申报国家级、省部级科研项目，预计单个项目经费 500-1000 万元。(3)新型监测设备:研究内容二所产出的面向气象农业水文应用的北斗/GPS 双模气象 水文生态多要素综合监测设备，具有低成本、小型化、多功能等优势，可独立进行市场推广。 按单套收益 5 万元计算，初期市场年需求量 50 套，预计年收益 250 万元，市场成熟后可面 向全国推广，年收益可达 500-3000 万元，并可与目前市场上通用的 GNSS 定位型接收机竞 争，实现行业接收机的更新换代及初期市场垄断。(4)演示系统:研究内容三所产出的北斗/GPS 双模气象水文生态多要素综合监测演示 系统，可率先在山东省(青岛市)开展示范应用，且该创新应用模式在全国具有推广价值。 可联合申报科研项目，预计单个项目经费 500-1000 万元，同时可实现业务化推广应用，名 利双收。

大健康是未来世界发展的趋势，在未来10年内将产生10万亿美元的产业。我国在近期提出的健康中国，着眼于扩大在线健康服务，依托大数据提出诊断和治疗建议，实现大社区健康管理与大健康服务。实现这一体系的关键，在于各种柔性电子、传感器技术，与物联网、云通信技术，以及大数据与人工智能相结合。 随着经济的发展，人们对于健康的重视程度越来越高，在皮肤表面进行检测人们身体健康状况的柔性传感器，是未来电子科技发展的一个重要方向，将会有巨大的市场前景。在以智能手机为主体的电子元器件的开发日益盛行，开发一种柔性智能传感器，舒服的贴在皮肤表面，这种传感器既能够检测人们生命体征（如血压、心跳、体温、血糖等）的变化，又能够无线连接手机。医院的医生能够通过互联网、云通讯、分布式的监测和管理每个病房的病人的身体状况，既节省大量人力时间成本，又能够及时的检测到病人的生命体征变化；结合无线互联网、云通讯,能实现分布式医护,虚拟空间管理；与大数据与人工智能结合，进行智能健康管理,实现智慧医疗（图1）。 图1 基于柔性传感器的智慧医疗系统 本项目主要应用生物相容的蚕丝材料作为传感单元主要组成部分，以无线蓝牙模块与无源RFID标签作为人机数据交互单元，以大数据为手段对平台进行管理，瞄准柔性电子与智能大数据前沿领域，具有重要的科学意义。具体如下： （1）柔性电子皮肤等智能传感新技术与器件开发 近年来，蚕丝等柔性材料作为医用生物材料渐渐进入人们的视线，具有良好的生物相容性和极佳的力学性能。以此为基础开发柔性电子制造技术，通过柔性材料的光刻、打印等加工技术，制备传感单元。 （2）人体传感信号实时监测的云系统的开发 通过建立皮肤表面传感器无线信号传输技术，实现体温、心跳等信号的远程监测，符合国家精准医疗精神。通过云系统可对老年社区、医院等场所进行智能化、集成化的监控，实现健康的大数据管理。除此以外，也可实现个体的远程诊疗体系。向“健康中国2030”靠拢，依托大数据提出诊断和治疗建议。 （3）将系列传感器材料制备技术与无线信号传输云平台结合，实现个人和医院的对自身和病人的健康指标数据进行检测和管理。以此无线体征检测的平台框架为基础，后续又可以引入更多传感与控制体系，适应场景的多样化。 二、前期研究基础 （1）模仿神经元突触的蚕丝忆阻器 在神经系统中，当神经冲动从轴突传导到末端时，Ca2+离子大量涌入突触前膜引起递质的分泌，从而改变突触后膜的导电性。我们通过仿生该过程，利用Ag+离子在外加电场作用下WK@AuNCs蚕丝蛋白薄膜的迁移行为来模拟阻值渐变和阻值记忆的过程。其电学特性表明其具有独特的突触特性，并具有突触学习能力。 （2）蚕丝基应力传感器—柔性电子皮肤 人体电子皮肤传感器是未来传感器发展的新方向之一，超薄超柔的特性使其可以在人体几乎难以察觉异状的情况下，完成多种生理指标的采集。我们通过研制柔性压力传感器，已在运动检测、发声检测、脉搏检测等方面开展了大量研究。 （3）纤维传感器 可穿戴设备在未来智能装备领域具有广泛的应用前景，而我们平时穿戴的衣物均是由纤维编织而成，智能穿戴设备设计的最高境界为对其本身必须的纤维材料的功能化。我们通过对纤维材料进行改造和设计，制备除了纤维状温度、压力传感器。对纤维传感器进行编织可实现多维度传感，并可适应多种场景，这项工作与传统纺织行业结合开创了尖端智能科技研究新领域。

研究背景：  大数据应用的多样化  需要的计算模型、数据模型多样化；  目前每类模型需要单独的开源系统来支持（如HDFS、HBase、Neo4j、MongoDB，Flink，Spark，Tensorflow等）。  多系统导致大数据分析平台非常复杂、效率低下。 研究目标： 研究和开发面向新型多计算模型融合架构的、高时效、可扩展的新 一代大数据分析支撑系统与工具平台FAST（Fusion-Architecture, Scalable, Time-efficient big data analysis platform）。 针对目前大数据分析平台复杂、效率低下的痛点，该系统具有三个  方面的优势：首先，这套系统采用融合架构，一方面实现关系、图、键  值、文档等多种数据模型的高效融合，另一方面实现批处理计算、流计  算的深度融合，并可以通过SQL扩展语言来进行多模型的统一查询，实现高效的跨模型查询。其次，对于复杂系统来说，时效性非常重要，这  套系统采用融合架构提高效率是实现高时效的基础，更重要的是，我们  对大数据分析从数据到用户进行了端到端的全栈时效优化。最后，对于  大数据应用来说，系统扩展性非常重要，本系统在资源层、存储层和计  算层进行了全面的扩展性优化。下面在融合架构、高时效和可扩展这三  个方面，分别详细介绍FAST系统的三个主要亮点。 融合架构 FAST系统的第一个亮点是融合架构，我们在技术方面的创新主要包  括多数据模型融合和多计算模型融合两方面。 多数据模型融合： 设计和研发了多模型数据管理与查询引擎，支持关系、图、键值、  文档等多种数据模型，实现了查询解析、查询优化、元数据管理、数据  分布等功能，将多种数据模型进行统一管理和深度融合。同时扩展了SQL语言，通过统一的查询接口支持对关系、键值、图、文档等数据进行独立访问或者跨模型查询。 经过试验，多模型数据融合查询，比Spark 2.3.4的查询时间能平均减少70.7%。目前spark等现有系统还需要手工编程方式来实现跨模型查 询，所以FAST系统在易用性上也表现良好，降低使用门槛，提高开发效率。 多计算模型融合： 在计算层实现了最常见的批处理计算和流计算深度融合，批流融合的核心方法是在系统内部实现批和流的统一表达，批是对有限数据集  的运算，流是对无限数据流的计算，我们设计了UCollection结构对批和  流数据进行统一表达，通过识别的bounded标志，来确定是批、流、或批流融合。有了统一表达，可以开展一系列融合优化来提升系统性能。 并且对上通过Unified API统一用户的批、流接口，实现二者在编程范式上的统一表达。对于批流混合的计算，融合架构系统的查询延迟比Flink 1.4.2能减少57%，吞吐量平均可以提升到6.72倍。 高时效 FAST系统的第二个亮点是高时效，即缩短大数据分析的时间消耗，  提高效率。由于大数据分析平台是一个非常复杂的系统，为了做到高时效，系统不能存在性能短板，因此需要对大数据分析的整个过程进行端到端的全栈时效优化。如图中所示，自下而上，需要在多模态存储、批流融合、机器学习、人工操作各层都进行优化。 对于多模态存储，面向应用负载和异构硬件特征进行自适应优化； 对于批流融合计算，在统一表达基础上，进行系列融合优化技术， 包括DAG优化、迭代优化、部署优化、操作符优化等； 在机器学习层面，进行模型优化、消息优化、梯度优化、概率优化 等来提高时效； 而且我们也考虑到大数据分析过程中用户人工操作的时效性问题，  通过智能地进行大数据分析方法和模型的推荐，来缩减人工操作的  时间。 可扩展 FAST系统的第三个亮点是可扩展，由于大数据应用规模很大，数据增速快，对系统可扩展性的要求非常高，为此我们在系统的资源层、  存储层和计算层进行了全面的扩展性优化。 在资源层，系统都部署在云计算的虚拟化资源之上，利用了云计算资源的弹性机制进行系统扩展。并在系统中实现了可伸缩调整模块，  能实时监控软硬件系统的状态，按照应用需求来自适应地进行弹性伸缩。 在存储层，分布式存储系统扩展性的关键在于分布式共识和一致性 协议（Raft），因此提出了KV-Raft、vRaft等进行Raft的扩展优化。 在计算层，我们扩展了机器学习模型的参数规模，使系统可以支持  到百亿级别的超大规模机器学习模型训练，并且性能方面有明显提  升。 亮点成果： 融合架构大数据分析平台目前已经在阿里巴巴双十一进行示范应用。  从2020年11月10日至11月16日一周的时间，在阿里的生产环境中，研发 的系统一直连续稳定运行，基于淘宝和天猫的实际用户信息进行大数据 分析，综合运用了本系统的存储、计算、机器学习等多个模块的能力， 累计进行了184亿件商品推荐。 同时在双十一期间，基于智能交互向导技术，也面向电子商务应用  的卖家提供了“生意参谋”应用，基于大数据分析，帮助卖家分析产品  销量变化的原因，以及促销的有效手段等。

本研究低成本搭建了弹性可扩展的Hadoop云计算平台