|
华中科技大学
华中科技大学 教育部
  • 74 高校采购信息
  • 3406 科技成果项目
  • 0 创新创业项目
  • 0 高校项目需求

一种数据去重过程中的并行分块方法与系统

2021-04-14 00:00:00
云上高博会 https://heec.cahe.edu.cn
关键词: 数据去重
点击收藏
所属领域:
电子信息
项目成果/简介:

本发明公开了一种数据去重过程中的并行分块方法,其特征在

于,包括:(1)将数据流中的文件分成多个定长的数据段,所述数据段

的长度大于数据分块的最大块长;(2)利用计算机多核处理器并行对每

个数据段进行分块,每个数据段都通过分块获得多个数据块;(3)将最

后一个数据段除外的每个数据段的最后一个数据块与后一个数据段的

第一个数据块进行边界衔接处理。本发明提出的并行分块方法,采用

一种新颖的边界衔接方法解决了传统分块方法的

项目阶段:
未应用
会员登录可查看 合作方式、专利情况及联系方式

扫码关注,查看更多科技成果

取消