一种历史感知的数据去重碎片消除方法与系统

新一代信息技术

本发明公开了一种应用于数据去重系统中的碎片消除方法，该

方法利用历史信息准确地识别碎片，系统内存开销少且恢复吞吐率高。

该方法首先对数据流中的文件进行分块、求指纹，查询索引找到重复

数据块；然后在上次备份记录的稀疏容器集合中查找重复数据块的容

器 ID，判断哪些重复数据块属于稀疏容器。对于属于稀疏容器的重复

数据块，将其重写到新的容器中。该方法在备份过程中，只需记录下

相关容器的利用率，内存开销极小。本发明还提供了相

未应用