|
搜索
搜 索
高等教育领域数字化综合服务平台
一种基于链接分析的聚焦爬虫方法
本发明针对现有技术的不足之处提供了一种基于链接分析的聚焦爬虫方法，用以解决现有聚焦爬虫抓取网页准确率和效率较低的问题。 为实现上述目的，本发明采用的技术方案为： 一种基于链接分析的聚焦爬虫方法，其特征在于，包括如下步骤： (1)抓取网页，将网页和目标样本网页的结构进行比较，确定目标网页，从网站入口链接开始，记录爬虫到目标网页的每一条链接路径，建立目标网页链接树； (2)分析目标网页链接树，归纳链接树中目标网页路径上的链接，替换链接树中的链接，形成链接模版树； (3)爬虫使用链接模版树作为导航，抓取与链接模版树相匹配的网页链接，直到整个抓取循环过程结束，最终抓取完所有目标网页。 作为优选，步骤(1)中，所述建立目标网页链接树的具体步骤如下： (11)选择一个目标网页作为目标样本网页，用于比较将下载的网页结构； (12)初始化链接树，即将链接树设置为一棵空树； (13)初始化链接队列，将网站的入口链接加入到链接队列尾部； (14)从链接队列头部取出链接，广度优先地抓取网页； (15)将抓取的网页和目标样本网页进行比较，如果结构相同，则将该目标网页的路径添加到链接树中，将目标网页的链接作为
电子科技大学
2021-04-10
一种深度多维度流量语义分析方法
一种深度多维度流量语义分析方法，使用有监督的深度学习模型来训练网络获取ｕｒｌ页面的特征向量，并综合考虑用户之间的语义关系来实现流量分析；对于网站日志的预处理，采用ｍａｐｒｅｄｕｃｅ筛选掉不符合条件的日志数据，其中包括爬虫日志数据和其他网站的数据；对于构建出来的浏览路径，设置阈值为ｎ，筛选掉长度小于ｎ的路径；对于网站ｕｒｌ页面的文本处理，采用词向量的分布式表示方法得到ｕｒｌ页面的向量，利用ｕｒｌ页面嵌套来描述用户浏览行为的语义信息；采用聚类方法对用户的浏览路径进行聚类，通过聚类来分析用户的分布情况和用户群之间的差异，聚类使用ｔ?ＳＮＥ降维来达到直观的向量空间聚类效果。
东南大学
2021-04-11
再生混凝土细观结构分析方法和计算软件
北京工业大学
2021-04-14
一种测量不确定度的分析方法
本发明公开了一种测量不确定度的分析方法。利用参考测量系测量各标准样件，获取测量结果 X，利用某一待分析的测量系统对标准样件进行测量，获取测量结果 Y；分别计算测量结果 X 和 Y 的方差V(X) 和 V(Y) ， 并 定 义 α ＝ V(X)/V(Y) ； 假 设 <imgfile="DDA00002582404000011.GIF" wi="39" he="46" /> 和 <imgfile="DDA00002582404000012.GIF" wi="29" he="46" /
华中科技大学
2021-04-14
一种基于拉曼光谱技术的藻种分类识别方法
本发明公开了一种基于拉曼光谱技术的藻种分类识别方法，包括：取相同藻种的多个样本，每个样本均为当前藻种的活体藻液，采用拉曼光谱仪获取各个样本的拉曼光谱原始信息；对采集的拉曼光谱原始信息进行预处理，得到对应的预处理谱图，然后采用偏最小二乘法从各预处理谱图中提取主因子；更换藻种，获得与不同藻种相对应的主因子；以所有藻种的主因子作为输入，以与各主因子相对应的藻种分类为输出，建立BP神经网络模型；取待鉴别活体藻液，获得该待鉴别活体藻液的主因子并输入所述BP神经网络模型，获得待鉴别活体藻液中所包含的藻种分类。本发明实现了基于拉曼光谱技术的藻种快速准确分类，大大简化了操作步骤，缩短了检测时间。
浙江大学
2021-04-11
基于多源光谱特征融合的食用油种类快速鉴别方法
其他成果/n一种基于多源光谱特征融合的食用油种类快速鉴别方法，包括如下步骤：选取待鉴别的未知种类的食用油样品；采集拉曼光谱图和近红外光谱图；分别对采集的拉曼光谱图和近红外光谱图进行预处理，得到预处理拉曼光谱图和预处理近红外光谱图；分别对预处理拉曼光谱图和预处理近红外光谱图进行特征提取，得到拉曼特征变量和近红外特征变量；将拉曼特征变量和近红外特征变量进行光谱特征融合，得到特征融合光谱图；采用优化定性模型对所述未知种类的食用油样品进行种类鉴别。本发明提供的基于多源光谱特征融合的食用油种类快速鉴别方法，安全快速、检测便捷，鉴别准确率高，具有较强的实用价值和推广价值。
武汉轻工大学
2021-04-11
一种基于吸收光谱技术的双频率波长调制方法
本发明公开了一种基于吸收光谱技术的双频率波长调制方法，该方法在传统波长调制信号的基础上叠加了另一高频正弦信号，针对该种激光激励方式建立了双频率波长调制的傅里叶分析模型，理论推导了各次谐波表达式，研究了不同调制参数对谐波信号的影响并通过全局寻优算法确定了最佳调制参数。在此基础上，确定了双频率波长调制频率响应关系的函数表达式。相比于传统单频率波长调制方法，本发明提出的测量方法具有更高的信噪比，测量结果的稳定性更强，并且在弱吸收情况下的谐波峰值位置更易于判断，具有更大的应用潜力，本发明方法仅改变了激光器的注入电流激励方式，对硬件成本要求低，并可应用于多次反射池等系统进一步降低气体浓度的检测下限。
东南大学
2021-04-11
基于免基线波长扫描直接吸收光谱的气体浓度测量方法
本发明提出一种基于免基线波长扫描直接吸收光谱的气体浓度测量方法，该方法首先对透射光强信号加上Ｎｕｔｔａｌｌ时窗，其次对加窗的透射光强信号进行数字带通滤波处理，获得谐波处的Ｘ分量，使得吸收部分的信号得到强化而使边缘处接近为零，同时对加窗的透射光强信号进行数字低通滤波处理得到常数项，然后使用得到的常数项对Ｘ分量进行归一化处理，消除光强波动的影响，最后对归一化的Ｘ分量使用拟合算法即可得到待测气体参数值。本发明的测量方法克服了传统直接吸收方法对基线敏感的缺点，同时避免了由于基线拟合误差对结果的影响，尤其适合
东南大学
2021-04-14
一种手性环氧化合物的高通量光谱检测方法
手性环氧是一类重要的中间体分子，能够转化成多种手性官能团。然而，文献中还没有针对环氧的光谱手性检测方法。蒋伟课题组利用独立发展的“内修饰分子管”（ Chem. Commun. 2015, 51, 15490; Chem. Commun. 2016 , 52, 9078; J. Am. Chem. Soc. 2016 , 138, 14550），通过氢键和疏水效应在水中实现了对手性环氧的识别。核磁滴定、荧光滴定与等温量热滴定等实验结果都证实“内修饰分子管”在水中与环氧分子之间存在较强的键合。同时，X-射线单晶衍射、核磁滴定等实验结果证实了氢键的存在。手性环氧通过氢键将手性信号传递给了非手性但有紫外吸收的“内修饰分子管”，诱导产生了紫外圆二色（CD）信号。通过CD信号的强度和正负性，可以实现绝对构型的归属和ee值的测量。该方法具有环境友好（溶剂是水，“内修饰分子管”能够回收）、响应速度快（30 ms）、可以实现实时监测、适用于高通量检测等优点。该方法首次实现了只含环氧的手性化合物的光谱检测，并被成功应用于真实的不对称环氧化反应，获得了与手性色谱方法相类似的结果，在不对称环氧化的前期条件筛选研究中具有广阔的应用前景。
南方科技大学
2021-04-13
基于 LED 混光呈色模型的光谱功率分布提取方法及系统
一种基于 LED 混光呈色模型的光谱功率分布提取方法及系统，包括进行 LED 智能光源控制信号空 间全局采样，利用预设的 LED 发光控制方式根据全局采样样本集中各信号值驱动 LED 光源发光，组成 发光样本集；分别测量所得各发光样本对应光谱功率分及照度，生成发光数据集；根据预设的照度阈值 进行筛选，得到最终发光数据集，并从全局采样样本集中选取对应信号样本，组成最终信号空间采样样 本集；构建 BP 神经网络，并在此基础上建立相应的 LED 混光
武汉大学
2021-04-14