一种针对网页结构变化的不间断爬虫系统构建方法

其它领域

本发明公开了一种针对网页结构变化的不间断爬虫系统构建方法，本发明在数据抽取的过程中，并 不依赖于具体的标签节点，而是通过计算的方法来寻找目标节点;利用节点剪枝和相似哈希的方法锁定 标题节点;然后，迭代计算相关节点的上下文主题相关度值 TTR，得到目标抽取模块的节点;最后，使 用正则表达式以及库匹配的方法实现对时间和新闻来源的信息的获取，在库匹配的过程中，使用了库动 态增长的方法;同时，在目标抽取节点下的剩余节点中，过滤掉所有噪声节点，便得到网页文本的正文 信息;本发明提供的技术方法主要应用

产业化应用