|
搜索
搜 索
高等教育领域数字化综合服务平台
一种基于Hadoop的海量矢量数据划分方法及系统
本发明涉及一种基于Hadoop的海量矢量数据划分方法及系统。该方法包括：基于Hilbert空间填充曲线对空间数据集中的空间要素进行空间编码；通过Map函数和Reduce函数实现空间要素的键值化，并生成空间数据样本信息集；根据所述空间数据样本信息集生成空间数据划分矩阵；根据所述空间数据划分矩阵将各个空间要素划分入对应的存储数据块中，同时将相邻数据块分发至同一集群节点上。本发明系统将Hilbert空间填充曲线引入到数据抽样和划分规则中，充分考虑空间数据相邻对象的空间位置关系、空间对象的自身大小以及相同编码块的空间对象个数等影响要素，不仅保证了样本信息集的空间分布特征，提高了海量矢量数据的空间索引效率；同时也保证了基于HDFS数据块存储的负载均衡。
中国农业大学
2021-04-11
PB级海量异构数据搜索系统
现代互联网、通信和信息科技应用涉及海量异构数据，有效管理和使用数据需要对其进行组织优化和 预处理。索引是重要的预处理方法，以其为基础可提供高效的数据搜索功能。常用的开源搜索引擎Lucene第一部分 电子与信息领域技术成果采用属于关键字索引的分词倒排技术，可满足自然语言数据搜索的需求，但是对词较多或者无法分词的异 构数据，比如信号、日志、代码和基因等，需要使用SA（suffix array，后缀数组）索引，在技术原理和应 用范围上均区别于关键字索引。
中山大学
2021-04-10
海量混合时态数据融合处理关键技术及应用
流立方在技术流派里属于流式大数据实时处理领域，但兼顾了批式数据处理技术的优势，一定程度的做到了混合时态的实时处理。流立方通过在数据流水过程中嵌入流处理引擎将所有流过的数据进行实时处理, 并生成多维度的可计算数据魔方。1）超高并发性：“流立方”产品拥有每秒处理百万笔交易流水复杂分析的能力。而达到这样的性能仅需要 8 台普通的 pc 服务器搭建的集群。2）超低时效性：流立方对每笔流水处理的延时严格控制在毫秒级，实际生产中平均延时稳定在 10 毫秒左右。形象一点来说，也就是在海水涌进海洋的几乎同一时刻，数据就被分析完成了，远远低于人类学上 0.1 秒即有所感知的时间节点，处理速度比一眨眼快了很多倍。最近一年，流立方的高级版本更是提升到了微秒级的处理延时，将被用在春运票务、军工、反恐等要求更加极致的场景。3）高可靠性、高扩展性、高兼容性：流立方自带的可计算分布式缓存高性能、高可靠、高可扩展。在内存不足时, 能够平滑扩展到多节点。流立方平台内支持算法数量达到几十个。计算模型、脚本独立管理,在线编写、即时部署即时生效, 大大节约上线时间。
浙江大学
2021-04-11
基于Hadoop云计算平台的海量数据挖掘研究与应用
本研究低成本搭建了弹性可扩展的Hadoop云计算平台
中山大学
2021-04-10
超大规模 RDF 图数据的划分与并行分布处理方法
本发明公开了一种超大规模 RDF 图数据的划分与并行分布处理 方法，包括：对原始的 RDF 图数据进行预处理，生成对应的哈希字典 文件和整形三列表数据，并将整形三列表数据转换成关联矩阵 M；建 立关联矩阵 M 的超图模型，在该超图模型中，M 的主语、谓词和宾语 即为超边，与超边相关的数据即为超边数据；判断该 RDF 图数据是连 通图还是非连通图，如果是非连通图，则将该非连通图划分为多个连 通图；基于超图模型，并发的广
华中科技大学
2021-04-14
一种可扩展的面向关联的流式图数据划分方法
本发明公开了一种可扩展的面向关联的流式图数据划分方法， 包括以下步骤：(1)对图数据进行预处理，将节点转化为节点 ID；(2) 将预处理后以 ID 形式存在的各边加入 FIFO，等待进入滑动窗口处理； (3)补全滑动窗口，根据混合近似PageRank方法计算各节点的 PageRank 值；(4)追踪当前由滑动窗口内各边构成的子图中每个节点对应的起始 节点的集合，获取各节点的关联值；(5)对窗口内所有节点采用近邻传 播
华中科技大学
2021-04-14
基于矢量数据的 SAR 影像道路损毁信息提取方法
一种基于矢量数据的 SAR 影像道路损毁信息提取方法，根据灾后的 SAR 影像的范围，获取对应区 域的矢量数据;将矢量数据投影到 SAR 影像的坐标系之后，将矢量数据配准到 SAR 影像上;提取 SAR 影像的疑似道路损毁区，包括利用道路检测算子进行线检测，将道路宽度信息与道路矢量数据进行形状 水平集分割，融合得到疑似道路损毁区;建立贝叶斯网络模型对疑似道路损毁区进行进一步判断，提取 出道路损毁信息。本发明利用矢量数据作为先验信息，辅助 SAR 影像道路变化检测，检测率高;提出 的线检测与形状水平集相结合的方法能够很好的提取断裂区，漏检率低;建立的贝叶斯网络模型能够有 效的剔除干扰信息，减少道路损毁提取的虚警。
武汉大学
2021-04-13
一种基于并发改进的大规模图数据流式划分方法及系统
本发明公开了一种基于并发改进的大规模图数据流式划分方法 及系统，属于计算机存储领域。本发明包括：工作节点登记同步；代 理服务器发送顶点信息；工作节点返回梯度信息；代理服务器发送最 优分区信息；工作节点保存分区结果。本发明通过一次发送多个顶点 及其相关信息的方法，解决了现有流式图划分方法一次网络时延处理 一个顶点的问题，减少网络时延对系统的影响，提高了图划分效率。
华中科技大学
2021-04-14
基于纸质平面数据的城市三维空间矢量建模方法
成果介绍本发明涉及一种基于纸质平面数据的城市三维空间矢量建模方法，针对现有普通二三线和中西部城镇、乡村的大量测绘资料仍旧依托纸质图纸，存在难以管理、难以使用、难以分享的困难，该方法以扫描设备为平台，以OCR、ArcGIS软件为基础，首先通过将纸质图纸矢量化识别，其次对整个矢量图纸进行分层处理，最后将矢量图纸输入空间数据库进行空间建模，形成具有三维形态的可视化模型，成为城乡规划管理者可管控，城乡规划师可利用，以及普通市民可认知的城市空间形态数据。本发明采用简便可行、自动化的步骤，具有快捷、准确的优点，将纸质图纸转化为数字化形态模型，促进了新型城镇化背景下城乡规划成果的利用及技术手段的提升。技术创新点及参数提出一种简便可行、快捷准确地 将纸质图纸转化为三维空间矢量的建模方法，该方法可以形成具有三维形态的可视化模 型，成为城乡管理者可管控、城乡规划师可利用、普通市民可认知的城市空间形态数据。
东南大学
2021-04-11
社区划分与定向广告模型
南京邮电大学
2021-04-14