教育论文网

基于Spark的数据流转监测和作业调度子系统设计与实现

硕士博士毕业论文站内搜索    
分类:教育论文网→工业技术论文→自动化技术、计算机技术论文计算技术、计算机技术论文计算机软件论文程序设计、软件工程论文程序设计论文
基于Spark的数据流转监测和作业调度子系统设计与实现
论文目录
 
摘要第1-6页
ABSTRACT第6-11页
第一章 绪论第11-14页
 1.1 课题研究背景及意义第11页
 1.2 本文的主要工作第11-12页
 1.3 论文组织架构第12-14页
第二章 SPARK生态与大数据作业调度、数据质量监测概述第14-25页
 2.1 SPARK生态概述第14页
 2.2 大数据作业调度技术概述第14-19页
  2.2.1 作业调度相关概念第15-18页
  2.2.2 AirFlow第18-19页
 2.3 大数据数据质量监测概述第19-23页
  2.3.1 消息队列第19-20页
  2.3.2 Kafka第20-21页
  2.3.3 Flume第21-22页
  2.3.4 ESB第22-23页
 2.4 国内外研究现状第23-24页
 2.5 存在问题分析第24页
 2.6 本章小结第24-25页
第三章 关键技术研究与设计第25-39页
 3.1 基于多DAG的面向资源动态优先级作业调度算法第25-33页
  3.1.1 基于多DAG的作业调度第25-28页
  3.1.2 面向资源的动态优先级调整算法第28-31页
  3.1.3 紧急作业调度设计第31-33页
 3.2 面向作业流转的大数据数据质量监测模型设计第33-38页
  3.2.1 数据质量监测模型设计第33-36页
  3.2.2 面向作业流转的数据监测设计第36-38页
 3.3 本章小结第38-39页
第四章 系统设计与实现第39-56页
 4.1 系统总体设计第39-42页
  4.1.1 系统总体架构第40-41页
  4.1.2 系统核心功能模块第41-42页
 4.2 系统详细设计第42-56页
  4.2.1 作业调度模块设计第42-45页
  4.2.2 DAG作业流设计第45-50页
  4.2.3 资源感知模块设计第50-51页
  4.2.4 数据库模块详细设计第51-52页
  4.2.5 日志与报警模块设计第52-56页
第五章 验证与应用第56-66页
 5.1 集群搭建与部署第56-58页
 5.2 系统功能分析与验证第58-65页
  5.2.1 调度功能分析验证第58-61页
  5.2.2 满负载作业调度分析比较第61-64页
  5.2.3 紧急作业调度功能验证第64-65页
 5.3 本章小结第65-66页
第六章 总结与展望第66-68页
 6.1 本文总结第66页
 6.2 研究展望第66-68页
参考文献第68-71页
致谢第71页

本篇论文共71页,点击这进入下载页面
 
更多论文
基于Spark的数据流转监测和作业调度
长时间尺度内二分网络社团发现系统
基于边缘结构提取的传统纹样矢量化
分布式传统民族服饰图案存储平台的
基于全局与局部风格化约束的传统纹
基于数据边缘缓存的可信认证服务模
基于联盟链的光伏补贴系统设计与实
基于诱饵的Android加密型勒索软件的
基于流量的安卓恶意远控软件检测系
基于关键帧提取和跨模态特征融合的
基于跨模态特征融合的用户兴趣挖掘
基于区块链的防伪溯源技术研究与系
产教融合式物联网教学平台的设计与
车辆雾计算中面向实时情景感知地图
基于微服务的自动化测试云平台的设
基于标签嵌入的传统民族服饰图案多
基于唇部特特征的身份识别系统设计
基于电磁混响室的RFID设备性能测试
基于数据挖掘的工业城市大气数据分
智能监护数据统计及分析系统的设计
基建工程管理及务工招聘平台的设计
物联网系统中图像识别技术的研究
NB-IoT终端数据管理平台构建及数据
光纤式水量测量装置及数据管理系统
基于区块链的物联网数据存储技术的
智能客服对话系统的设计与实现
静态数据脱敏系统的设计与实现
企业文件备份与恢复系统的设计与实
基于分布式视频流文本提取的文本纠
物联网安全审计管理系统的设计与实
石化泵房设备异常检测及处置系统研
隧道裂缝智能识别系统的设计和开发
基于统一姿态估计的操作规范监控平
基于视觉SLAM的AGV自主定位与路径规
基于DSRC技术的车联网信道接入机制
多模融合的手势识别关键技术研究
面向态势感知的注意力分配系统的研
多任务人机对话系统的设计与实现
基于区块链的物联网边缘侧数字资产
储粮害虫智能监测信息管理平台的设
基于知识图谱的科技资源整合系统的
基于Aermod模型的内河航运大气污染
图像分类技术在农作物病虫害分类问
基于大数据的船舶行为分析系统的设
针对P2P公司的舆情研判算法研究与应
面向垂直领域的在线问答系统设计与
长江沿岸港区船舶污染物排放预测系
大数据环境下的水上交通数据分析系
基于Node.js的船舶服务管理系统的设
基于区块链的租房系统设计与实现
基于物联网技术的水质监测系统的设
词级对话文本情感分类的研究与实现
 
Spark论文 大数据作业调度论文 数据质量监测论文 动态优先级论文
版权申明:目录由用户方**提供,www.51papers.com仅收录目录,作者需要删除请点击这里
| 设为首页||加入收藏||站内搜索引擎||站点地图||在线购卡|
版权所有 教育论文网 Copyright(C) All Rights Reserved