一种基于压缩感知理论的文本数据流抽样方法

新一代信息技术

本发明公开了一种基于压缩感知理论的文本数据流抽样方法，包括步骤 1）将文本数据流分割成固

定大小的文本片段并通过向量空间模型表示成矩阵；2）使用压缩感知理论对文本数据流进行空间降维

抽样；3）计算降维后每个文本的信息熵；4）基于文本的信息熵通过对数倾斜时间（LTT）模型得到抽

样文本。本发明面向互联网海量的、不断增加的文本流，通过更少的存储消耗来实现更快的文本流抽样

和存储，在大大降低抽样文本流规模的情况下，能够以全局视角获得整个文本流中最有价

未应用

201510024381.1