大规模并发数据流处理系统及其处理方法

其它领域

一种大规模并发数据流处理系统及其处理方法,涉及数据处理技术领域,所解决的是提高流处理器处理效率的技术问题.该系统包括数据流单元缓冲区,数据流单元聚类队列池,数据流单元映射表,流处理器池,数据流读取部件,DSU聚类分配部件,任务调度部件,计算后处理部件,所述流处理器池由多个GPU构成,其中数据流读取部件用于将并发数据流写入数据流单元缓冲区,DSU聚类分配部件用于对数据流单元缓冲区中当前被处理的数据流单元进行分类,任务调度部件用于将数据流单元聚类队列池中的就绪队列加载至流处理器池中的GPU上执行流计算,计算后处理部件用于将GPU的计算结果返回到数据流.本发明提供的系统,能提高流处理器的处理效率.