本发明提供一种基于关键词的主题网络爬虫设计方法，包括：(1)配置主题关键词的搜索URL，形成初始种子超链接originalURL；(2)根据originalURL，在搜索引擎中进行检索并下载网页，基于网页内容抽取新闻的初步字段；(3)根据主题相关性算法，得到每篇新闻与主题的相似性，将与主题相关的新闻字段保留下来放入公共队列newsQueue中，过滤掉与主题不相关的新闻；(4)根据nextPageURL下载下一页的网页内容,抽取出nextPageURL和步骤(3)所述的相关字段，将后者放入公共队列newsQueue中，不断重复步骤(4)，直到没有下一页超链接nextPageURL为止；(5)从newsQueue中取出URL交给爬虫处理线程，即消费者线程。

本发明公开了一种聚焦爬虫的设计方法，通过搜索引擎检索到与领域相关的本领域网页URL资源，而非针对少数特定的网站，丰富了URL资源的数量。

本项目从官员直播带货的政策文本汲取研究思路，灵活运用Python数据手段验证行为逻辑，基于调研案例以点带面分析经济效应。 一、项目进展 创意计划阶段 二、负责人及成员 姓名 学院/所学专业 入学/毕业时间 许阳 公共管理学院公共事业管理 2019.9-2023.6 邹凯 公共管理学院城市管理 2019.9-2023.6 谭笑 公共管理学院劳动与社会保障 2018.9-2022.6 姚智妮 公共管理学院行政管理 2018.9-2022.6 张玎玲 公共管理学院劳动与社会保障 2019.9-2023.6 三、指导教师 姓名 学院/所学专业 职务/职称 研究方向 魏萍 公共管理学院 副教授 教育财政、财税理论与政策 四、项目简介 自2020年新冠肺炎疫情以来，互联网经济的重要性得到了政府的高度重视，在线上经济中，官员直播带货是新的激发经济活力的手段。官员直播带货是政府创新服务思路在实践中的新探索应用，对于推动阶段性的经济发展具有深刻的现实意义。本项目从官员直播带货的政策文本汲取研究思路，灵活运用Python数据手段验证行为逻辑，基于调研案例以点带面分析经济效应。在政府可持续创新视角下，通过梳理官员的多重目标政绩考核体系分析其行为的四大主体需求行为动力因素，运用官员行为理论和Python数据辅佐研究，多维角度勾勒出了官员直播带货的人物群像，有针对性地研究政府创新视角下官员直播带货的具体动机和行为表现。另外，对于经济效应研究，将短期效应落到“对接供需、解决滞销”上，将长期效应落到“产业升级、脱贫攻坚”上，进一步认识官员直播带货的行为实效性，以此总结推进政府可持续创新的建议，旨在缓解形式主义作风突显、有限理性下的“偏利性”选择以及基层治理创新的公共性缺失的未来发展难题。

本发明针对现有技术的不足之处提供了一种基于链接分析的聚焦爬虫方法，用以解决现有聚焦爬虫抓取网页准确率和效率较低的问题。 为实现上述目的，本发明采用的技术方案为： 一种基于链接分析的聚焦爬虫方法，其特征在于，包括如下步骤： (1)抓取网页，将网页和目标样本网页的结构进行比较，确定目标网页，从网站入口链接开始，记录爬虫到目标网页的每一条链接路径，建立目标网页链接树； (2)分析目标网页链接树，归纳链接树中目标网页路径上的链接，替换链接树中的链接，形成链接模版树； (3)爬虫使用链接模版树作为导航，抓取与链接模版树相匹配的网页链接，直到整个抓取循环过程结束，最终抓取完所有目标网页。 作为优选，步骤(1)中，所述建立目标网页链接树的具体步骤如下： (11)选择一个目标网页作为目标样本网页，用于比较将下载的网页结构； (12)初始化链接树，即将链接树设置为一棵空树； (13)初始化链接队列，将网站的入口链接加入到链接队列尾部； (14)从链接队列头部取出链接，广度优先地抓取网页； (15)将抓取的网页和目标样本网页进行比较，如果结构相同，则将该目标网页的路径添加到链接树中，将目标网页的链接作为

本发明公开了一种针对网页结构变化的不间断爬虫系统构建方法，本发明在数据抽取的过程中，并 不依赖于具体的标签节点，而是通过计算的方法来寻找目标节点;利用节点剪枝和相似哈希的方法锁定 标题节点;然后，迭代计算相关节点的上下文主题相关度值 TTR，得到目标抽取模块的节点;最后，使 用正则表达式以及库匹配的方法实现对时间和新闻来源的信息的获取，在库匹配的过程中，使用了库动 态增长的方法;同时，在目标抽取节点下的剩余节点中，过滤掉所有噪声节点，便得到网页文本的正文 信息;本发明提供的技术方法主要应用

浙江大学2022-2024年反爬虫机器防御服务竞争性磋商

实现客观题自动阅卷，主观题网上评卷和成绩数据的统计分析全部在计算机网上进行，特别是统计分析数据可直接在服务器上发布，既可免去人工阅卷方式逐级汇总及上报的麻烦，又可直接供教学讲评、质量分析使用，最大限度实现成绩数据的资源共享，满足领导，教师、学生及家长的需要。

1.采用“智能识别，无需额外定位技术”，印刷要求低，使用方便 本系统采用国内目前最先进的“智能识别”技术，答卷设计无需增加额外的定位点、定位线或同步头，也不需要以答题区域的边框、转角等作为定位识别符，确保了不因答题区域的线框偏移、变形、模糊或断线等因素影响扫描识别的稳定性及准确率。且系统中设置了自动识别偏移、折角检测、双页进纸等。 2.试卷纸张适应性好，支持超薄、加长纸扫描 本系统支持使用50克以上普通纸，以复印、速印或胶印方式双面印制答卷，2010年安徽中考各科试卷在本系统中均顺利通过扫描。 3.支持任意答题卷或答题卡的扫描、阅卷 由于采用了“智能识别”技术，本系统可做到在预先不知答题卡设计的情况下对任意答题卡或答题卷的顺利扫描和阅卷工作。2010年安徽中考阅卷成功使用本系统即是很好的例证。 4.互联网阅卷优势明显 本系统支持A4、A3及不规则尺寸的答卷扫描识，且A3答题卡在200dpi分辨率下，其双面扫描的影象文件容量不大于250K，这就确保了在当前互联网带宽不是很宽的情况下依然能够流畅的进行互联网阅卷；本系统不仅支持在局域网、广域网或互联网上进行阅卷，并且提供B/S和C/S结构的可选系统，具有支持通过互联网实现教师在家里阅卷或跨地区学校联考远程网上阅卷功能； 5.分布式设计，轻松实现联考 本系统采用C/S结构，支持分点联合阅卷功能，可以轻松实现与其他同样应用本系统的兄弟单位一起进行联考阅卷。 6.答卷扫描与考生考号、客观题涂点识别同步完成，无须行进行二次识别操作 本系统在答卷扫描的同时即完成客观题答案的准确识别，当扫描完成时，客观题的识别工作即全部完成，有利于及时发现扫描过程中出现的异常情况，便于及时进行查错和纠错操作。如果采用严格定位技术设计的产品，扫描与识别分二次进行，先扫描后识别。 7.答题卷设计灵活，支持多种统计与分析 本系统支持单选、多选的客观题任意混排，不限制客观题答案选项的数量（原则上不少于26个）以及不限制答案的组合方式，同时支持客观题的题目和涂点混排。 本系统也支持主客观题部分的选做题（M选N，M≥N，如2选1、3选2等）评卷及数据处理功能，即系统可以自动识别选做的标识并进行处理；同一大题的不同选题应可以交由不同分组的老师独立评阅；且支持公共答题区域和8字码（七段码）识别，以最节省纸张的方式实现选项较多的选做题。 支持A、B卷的答题卡及常用条形码考生考号的自动识别，同时支持题卡合一和题卡分离的模式。 本系统支持评卷题目按照题组分组阅卷以及统计分析功能，从而实现对文综、理综中单个科目（如：政治、历史、物理、化学等）分科单独统计分析。 8.系统适应性强、容错性好 支持试卷印刷异常的特殊情况处理功能，确保在出现例如：试卷页码漏印、试卷印刷有倾斜、客观题涂点印刷不完整、试卷有小幅褶皱等情况下的正常扫描识别功能。 9.可实现与主流高速扫描仪的无缝对接 本系统设计使用底层协议实现与当前主流的高速扫描仪无缝对接，采用本系统不需要增加额外的图形加速卡，即可实现对答卷的扫描识别速度不低于扫描仪的标称值，实时性达到100%（即：正确识别的答卷扫描识别量 ≧ 扫描仪标称速度 X 实际扫描时间）。 10.支持典型试卷、电子化批注，便于课堂讲评 支持在试卷上做类似于人工阅卷评卷给分的给分标记，在标记时完成登分；试卷评阅的痕迹能以图像的方式保存在计算机系统中，并与阅卷过程中的标记及得分进行合成生成电子图像。 在评卷过程中对典型试卷可随时作标记，阅卷完成后方便调阅，使课堂讲解更直观、生动。

网络阅卷系统专为教育局用户设计，主要适用于高厉害考试（中考、高考等）阅卷应用，能与中考、高考真正接轨。系统具有答题卡制作、试卷扫描、阅卷、评卷管理控制、成绩统计分析等功能。从答题卡扫描到阅卷，网络阅卷系统不仅能减轻教师阅卷负担，而且能够助力教师更有效地提高阅卷质量和阅卷效率，提高阅卷的准确度与公平性。网络阅卷远程服务中心网络阅卷远程服务中心由网络阅卷系统和服务中心管理平台组成，是专为网络阅卷系统而增设的远程服务部门。用户在本地完成答题卡扫描工作后，其他工作，如考试定义、答题卡模版制作、裁切、成绩统计等，均可交由网络阅卷远程服务中心来完成，从而优化管理过程，减轻工作负担。为什么要选择远程服务中心？ 专业、高效、简单、方便、快捷降低阅卷考务工作出错率，减轻用户工作负担用户可远程操作、监控，管理更灵活远程服务无地域限制，节约成本