海量混合时态数据融合处理关键技术及应用
流立方在技术流派里属于流式大数据实时处理领域,但兼顾了批式数据处理技术的优势,一定程度的做到了混合时态的实时处理。流立方通过在数据流水过程中嵌入流处理引擎将所有流过的数据进行实时处理, 并生成多维度的可计算数据魔方。1)超高并发性:“流立方”产品拥有每秒处理百万笔交易流水复杂分析的能力。而达到这样的性能仅需要 8 台普通的 pc 服务器搭建的集群。2)超低时效性:流立方对每笔流水处理的延时严格控制在毫秒级,实际生产中平均延时稳定在 10 毫秒左右。形象一点来说,也就是在海水涌进海洋的几乎同一时刻,数据就被分析完成了,远远低于人类学上 0.1 秒即有所感知的时间节点,处理速度比一眨眼快了很多倍。最近一年,流立方的高级版本更是提升到了微秒级的处理延时,将被用在春运票务、军工、反恐等要求更加极致的场景。3)高可靠性、高扩展性、高兼容性:流立方自带的可计算分布式缓存高性能、高可靠、高可扩展。在内存不足时, 能够平滑扩展到多节点。流立方平台内支持算法数量达到几十个。计算模型、脚本独立管理,在线编写、即时部署即时生效, 大大节约上线时间。
浙江大学
2021-04-11