一种基于压缩感知理论的文本数据流抽样方法
本发明公开了一种基于压缩感知理论的文本数据流抽样方法,包括步骤 1)将文本数据流分割成固 定大小的文本片段并通过向量空间模型表示成矩阵;2)使用压缩感知理论对文本数据流进行空间降维 抽样;3)计算降维后每个文本的信息熵;4)基于文本的信息熵通过对数倾斜时间(LTT)模型得到抽 样文本。本发明面向互联网海量的、不断增加的文本流,通过更少的存储消耗来实现更快的文本流抽样 和存储,在大大降低抽样文本流规模的情况下,能够以全局视角获得整个文本流中最有价
武汉大学
2021-04-14