教育论文网

基于细粒度监控的Spark优化研究

硕士博士毕业论文站内搜索    
分类:教育论文网→工业技术论文→自动化技术、计算机技术论文计算技术、计算机技术论文计算机软件论文程序设计、软件工程论文程序设计论文
基于细粒度监控的Spark优化研究
论文目录
 
摘要第1-5页
Abstract第5-8页
第1章 绪论第8-18页
  1.1 研究课题背景第8-10页
    1.1.1 研究课题来源第8页
    1.1.2 研究目的与意义第8-10页
  1.2 国内外研究现状第10-14页
    1.2.1 分布式框架研究现状第10-11页
    1.2.2 Spark性能优化研究现状第11-13页
    1.2.3 Spark性能预测研究现状第13-14页
  1.3 主要研究内容第14-16页
  1.4 本文结构第16-18页
第2章 细粒度监控工具的设计与实现第18-29页
  2.1 Spark平台概述第18-20页
    2.1.1 Spark平台简介第18-19页
    2.1.2 Spark体系结构介绍第19-20页
  2.2 Spark监控模块设计第20-23页
    2.2.1 性能监控模块设计第20-23页
    2.2.2 资源监控系统设计第23页
  2.3 监控工具的实现第23-28页
    2.3.1 Spark日志解析第23-27页
    2.3.2 Spark与Ganglia的集成第27-28页
  2.4 本章小结第28-29页
第3章 Spark执行性能优化第29-47页
  3.1 数据序列化方式第29-31页
  3.2 Shuffle管理器第31-33页
  3.3 RDD的持久化第33-36页
  3.4 数据的压缩第36-44页
    3.4.1 各种压缩方式的性能第36-37页
    3.4.2 压缩算法的影响第37-39页
    3.4.3 数据类型的影响第39-40页
    3.4.4 压缩规模的影响第40-43页
    3.4.5 压缩策略的综合比较第43-44页
  3.5 资源调度对Spark性能的影响第44-45页
    3.5.1 内存的影响第44-45页
    3.5.2 Core数量和集群并发度第45页
  3.6 优化文件系统策略第45页
  3.7 本章小结第45-47页
第4章 Spark资源分配优化第47-55页
  4.1 性能预测模型介绍第47-48页
  4.2 Spark性能不变量第48页
  4.3 Stage执行时间边界评估第48-49页
  4.4 预测Task执行时间第49-51页
  4.5 Worker失败对Spark性能的影响第51-53页
  4.6 资源分配优化第53-54页
  4.7 本章小结第54-55页
第5章 Spark优化实验评估第55-73页
  5.1 Spark负载类型分析第55-56页
  5.2 Spark负载优化第56-65页
    5.2.1 图计算负载优化第56-61页
    5.2.2 机器学习负载优化第61-63页
    5.2.3 文本处理负载优化第63-65页
  5.3 Spark资源分配优化第65-71页
    5.3.1 验证Spark性能不变量第65-66页
    5.3.2 确定回归系数第66-68页
    5.3.3 预测Spark作业完成时间第68-69页
    5.3.4 Worker故障下预测Spark作业完成时间第69-70页
    5.3.5 验证基于DeadLine的资源分配模型第70-71页
  5.4 本章小结第71-73页
结论第73-75页
参考文献第75-78页
攻读硕士学位期间发表的论文及其它成果第78-80页
致谢第80页

本篇论文共80页,点击这进入下载页面
 
更多论文
基于细粒度监控的Spark优化研究
HDFS元数据管理的高可用性优化技术
大数据环境下道路网Top-k查询优化技
基于存储驱动的Hadoop节能调度策略
支持分库分表和读写分离的ORM框架的
健康医疗系统的数据挖掘研究
面向出行者的个性化服务需求挖掘技
车辆特征点3D参数估计及聚类算法研
搜索广告点击率预测中的冷启动问题
不确定图的代表实例发现算法
大数据清洗系统中优化技术的研究与
海量时态数据的JOIN操作算法研究
基于重抽样的近似计算方法
基于多特征融合的属性图聚类算法研
基于Docker的云存储服务系统设计与
基于YARN的高响应性Hadoop计算资源
对大数据的哲学认知
大数据研究特征分析
石嘴山铁通公司办公OA软件的设计与
省人社厅办公自动化系统的设计与实
移动游戏快速开发平台设计与实现
军事游戏中任务规划与控制系统的设
工程设计公司OA系统开发及应用
银行办公自动化系统的研究与分析
江西省邮政代理金融业务局办公自动
贵州中烟OA系统的研究与分析
基于Leap Motion和Unity3D的体感游
昆明市公安局办公自动化系统的研究
教育类游戏《成语天地》的设计与开
新媒体游戏的多重互动性体验研究
基于运动感应技术的手机游戏设计制
高清晰3D蓝光播放器的设计与实现
手机网络游戏服务端系统的设计与实
基于习惯养成的提升电子游戏玩家道
基于移动平台的明清建筑斗拱教育游
提升青少年道德认知能力的养成类电
基于心流理论的《史记》题材卡牌教
基于平行实境的善意游戏机制的研究
填字游戏促进人际强关系的策略研究
基于Cocos2d-x引擎的三国卡牌类游戏
基于Unity引擎的策略游戏行星侵略的
基于SpriteKit引擎iOS平台游戏Spir
基于AVPlayer的iOS激励性广告视频播
基于MATLAB GUI的脑电网络分析系统
基于椭圆拟合和改进FCM的颈动脉血管
数据特征识别过程的噪声处理研究
基于图像技术的数码迷彩设计方法研
基于特征学习的人脸识别算法研究
图像边缘检测算法的改进及其应用研
基于单演二值编码与稀疏编码人脸识
HIFU治疗前后B超监控图像配准方法研
智能视频监控中单目标运动的检测与
超市仓储物联网系统研究
基于NSCT变换和深度学习神经网络的
一种基于改进的SIFT算法的图像配准
基于互信息和B样条FFD模型的图像配
基于同步定位成图的便携式激光感知
FastICA的改进算法及应用研究
基于图像特征分析的视频场景变化检
信息动画设计研究
智能视频监控算法及其在FPGA实现的
基于Harris角点的网络视频中文本区
基于图像分割的破碎颗粒粒度分布检
基于图片的网络监测技术研究
烟叶近红外分析指标体系Web可视化
 
Spark论文 性能监控论文 性能优化论文 执行时间预测论文 资源分配优化论文
版权申明:目录由用户pengwenpi**提供,www.51papers.com仅收录目录,作者需要删除这篇论文目录请点击这里
| 设为首页||加入收藏||站内搜索引擎||站点地图||在线购卡|
版权所有 教育论文网 Copyright(C) All Rights Reserved