教育论文网

面向多场景的大数据集成存储与治理系统的设计与实现
硕士博士毕业论文站内搜索    
分类：教育论文网→工业技术论文→自动化技术、计算机技术论文→计算技术、计算机技术论文→计算机软件论文→程序设计、软件工程论文→程序设计论文
面向多场景的大数据集成存储与治理系统的设计与实现
论文目录
 
摘要第1-6页
ABSTRACT第6-8页
中英文缩略词对照表第8-12页
第一章 绪论第12-19页
　1.1 研究背景及意义第12-13页
　1.2 国内外研究现状分析第13-15页
　　1.2.1 网络爬虫技术发展现状第13页
　　1.2.2 数据集成技术发展现状第13-14页
　　1.2.3 数据治理技术发展现状第14-15页
　　1.2.4 研究现状中存在的问题第15页
　1.3 论文目标及主要研究内容第15-17页
　　1.3.1 定制化网络爬虫子系统的研究与实现第16页
　　1.3.2 面向多场景的统一数据集成子系统的研究与实现第16-17页
　　1.3.3 统一数据治理子系统的研究与实现第17页
　1.4 论文组织结构第17-19页
第二章 相关技术和系统方案研究第19-25页
　2.1 网络爬虫相关技术和系统方案研究第19-21页
　　2.1.1 WebMagic爬虫框架第19-20页
　　2.1.2 Connector插件开发第20页
　　2.1.3 XPath语言第20-21页
　　2.1.4 系统技术方案及可行性分析第21页
　2.2 数据集成相关技术和系统方案研究第21-23页
　　2.2.1 数据源变化捕获技术第21-22页
　　2.2.2 Kafka Connect第22-23页
　　2.2.3 系统技术方案及可行性分析第23页
　2.3 数据治理相关技术和系统方案研究第23-25页
　　2.3.1 数据湖和数据仓库第23-24页
　　2.3.2 大数据仓库Hive第24页
　　2.3.3 图数据库Neo4j第24页
　　2.3.4 系统技术方案及可行性分析第24-25页
第三章 可定制的分布式网络爬虫子系统的设计与实现第25-37页
　3.1 系统需求分析第25-26页
　　3.1.1 可定制性需求第25页
　　3.1.2 可恢复性需求第25页
　　3.1.3 并行性需求第25-26页
　3.2 系统架构设计第26-32页
　　3.2.1 模块化定制第26-29页
　　3.2.2 全局URL调度第29-30页
　　3.2.3 分布式运行第30-32页
　3.3 系统实现第32-37页
　　3.3.1 kafka-connect-WebMagic插件的实现第32-35页
　　3.3.2 爬虫管理服务模块的设计和实现第35-37页
第四章 面向多场景的统一数据集成子系统的研究与实现第37-51页
　4.1 系统需求分析第37-39页
　　4.1.1 功能性要求第37-38页
　　4.1.2 非功能要求第38-39页
　4.2 系统的模块设计第39页
　4.3 系统的模块实现第39-44页
　　4.3.1 控制台模块第40页
　　4.3.2 管理服务模块第40-41页
　　4.3.3 数据抽取、加载模块第41-44页
　　4.3.4 数据处理模块第44页
　4.4 系统的功能优化第44-51页
　　4.4.1 文件实时数据抽取第44-48页
　　4.4.2 语义一致性保证方法第48-51页
第五章 统一数据治理子系统的研究与实现第51-67页
　5.1 系统需求分析第51页
　5.2 系统模块设计第51-52页
　5.3 系统模块实现第52-67页
　　5.3.1 数据源接入模块第52-56页
　　5.3.2 数据湖管理模块第56-57页
　　5.3.3 元数据管理模块第57-61页
　　5.3.4 数据质量管理模块第61-62页
　　5.3.5 图谱标签管理模块第62-67页
第六章 系统部署与测试第67-86页
　6.1 系统部署第67-69页
　　6.1.1 系统间集成关系第67-68页
　　6.1.2 系统部署环境第68-69页
　6.2 功能测试第69-85页
　　6.2.1 爬虫管理服务测试第69-72页
　　6.2.2 数据同步服务测试第72-74页
　　6.2.3 数据治理服务测试第74-85页
　6.3 本章小结第85-86页
第七章 总结与展望第86-88页
　7.1 本文工作总结第86-87页
　　7.1.1 定制化网络爬虫子系统的实现第86页
　　7.1.2 统一数据集成子系统的实现第86-87页
　　7.1.3 统一数据治理子系统的实现第87页
　7.2 本文的不足及展望第87-88页
参考文献第88-92页
致谢第92-93页
攻读学位期间取得的研究成果第93页

本篇论文共93页，点击这进入下载页面。
 
更多论文
面向多场景的大数据集成存储与治理
基于GIS的海量交通数据可视化系展现
水生态治理建设中水资源管理平台的
路桥维护管理系统的设计与实现
光场图像的快速视差计算与并行化实
边缘约束的3D场景三角剖分深度估计
基于多特征融合的遮挡关系推理研究
动态异质信息网络表示学习研究
基于Scratch3的在线编程系统的设计
Python在线学习平台的设计与实现
基于跨模态关联的文本到图像生成系
面向知识库问答的实体链接技术研究
基于注意力模型的图像高级语义标注
基于区块链的智慧城市资源共享系统
大规模数据的谱聚类算法的设计与实
基于社交关系和地理位置的兴趣点推
基于图像特征迁移学习的PM2.5估算系
Android恶意软件检测系统的研究与实
立体仓库模拟系统的可视化设计与实
Scratch3.0角色造型生成的研究与实
基于Spring MVC的呼叫中心业务系统
基于动态污点分析和路径反馈的漏洞
移动应用的UI自动化测试系统的设计
基于多层语义信息与物体推荐的单目
移动应用性能自动化测试系统的设计
基于微博数据的用户画像系统的研究
分布式通用物联网数据管理平台的设
面向地理信息检索的多源数据融合系
基于微服务的可配置B2B2C平台运营后
服务网格下流量控制系统的设计与实
物联网固件脆弱性分析系统的研究与
解释性增强的PC恶意代码可视化分析
基于存储证明的区块链数字内容交易
基于广域高通量共识算法的电子病历
基于函数调用关系的集成测试方法研
面向对象程序的自动化单元测试框架
静态分析中C++中间文件化简方法研究
融合WIFI与视觉信息的目标跟踪系统
基于主机平台上分布式交易中间件的
基于评论和评分的推荐系统设计与实
基于区块链的内容发布平台的设计与
基于ASO的应用排名系统的设计与实现
短文本分析系统中管理子系统的设计
基于Android的视频点播客户端的设计
DSP广告投放平台的分析与设计
基于Spring Cloud微服务架构的短视
基于SSM框架的特殊材料衡算管理平台
某单位内控系统中资产控制和管理控
智能客服管理信息系统研发项目的风
序列导向的混合模糊测试技术研究与
基于攻击路径的Android App漏洞分析
基于相似度匹配的二进制软件漏洞检
基于无人机的全景地图自主生成方法
多无人机协同任务规划通用平台研究
基于图像边缘信息的轻量化语义分割
基于美学的图像裁剪技术研究
基于非结构化数据的软件编程领域知
积木式python编程系统的研究与实现
命名数据网络的隐私保护机制的研究
面向中文医疗知识图谱的实体对齐方
端到端面向任务对话系统的研究与实
基于用户兴趣漂移和语义特征的新闻
基于变长序列和地理社交的兴趣点推
基于时空上下文中用户行为挖掘的兴
基于图模型的图像分割算法研究
基于姿势识别的演唱会精彩动作检测
遮挡边缘提取算法及其在图像深度次
基于区块链技术的数据分发服务应用
基于区块链的教学数据管理系统的设
基于区块链的教师职称评定系统的设
基于区块链的匿名投票系统研究
基于雷达检测的认知车联网关键技术
基于对抗学习的耦合人脸表示分析
单阶段目标检测与跨数据集训练技术
基于大数据的IPTV用户体验质量监测
基于语义分析的产品信息安全质量评
基于生成式对抗网络的开放领域多轮
基于微服务的物联网平台的设计和容
语义物联网中的本体和资源模型研究
基于群组博弈的隐私保护策略设计与
基于在线学习视频内容的学生专注力
闲聊对话系统的一致性研究
基于邮箱平台的个性化广告推荐研究
基于图像的时空异常检测算法研究
 
数据集成论文 分布式网络爬虫论文 Kafka论文 数据治理论文 元数据管理论文
版权申明：目录由用户suph**提供，www.51papers.com仅收录目录，作者需要删除请点击这里。
| 设为首页||加入收藏||站内搜索引擎||站点地图||在线购卡|
版权所有 教育论文网 Copyright(C) All Rights Reserved