教育论文网

基于HDFS的海量小文件读写策略研究

硕士博士毕业论文站内搜索    
分类:教育论文网→工业技术论文→自动化技术、计算机技术论文计算技术、计算机技术论文电子数字计算机(不连续作用电子计算机)论文存贮器论文
基于HDFS的海量小文件读写策略研究
论文目录
 
摘要第1-10页
ABSTRACT第10-12页
符号说明第12-14页
第一章 绪论第14-23页
  1.1 论文选题背景第14-15页
  1.2 国内外研究现状第15-20页
    1.2.1 分布式文件系统现状第15-18页
    1.2.2 HDFS研究现状第18-20页
  1.3 研究目标及意义第20-21页
    1.3.1 研究目标第20-21页
    1.3.2 研究意义第21页
  1.4 论文内容及架构第21-22页
  1.5 本章小结第22-23页
第二章 系统相关技术第23-31页
  2.1 Hadoop相关技术第23-28页
    2.1.1 Hadoop的系统组成第23-24页
    2.1.2 HDFS文件系统第24-27页
    2.1.3 HDFS的缺陷第27-28页
  2.2 Redis相关技术第28-30页
    2.2.1 Redis常用的数据结构第28-29页
    2.2.2 Redis常用功能第29-30页
  2.3 本章小结第30-31页
第三章 海量小文件读写改进方案RCHDFS设计第31-62页
  3.1 现有解决方案第31-35页
    3.1.1 HAR方案第31-33页
    3.1.2 SequenceFile方案第33页
    3.1.3 HBase方案第33-35页
  3.2 改进的HDFS元数据存储方案——RCHDFS第35-48页
    3.2.1 NameNode元数据内存消耗分析第35-36页
    3.2.2 访问效率分析第36-37页
    3.2.3 关于文件的定义第37-38页
    3.2.4 基于Redis集群的HDFS元数据管理系统——RCHDFS第38-48页
  3.3 改进的HDFS低延时数据写入方案第48-54页
    3.3.1 HDFS数据写时间消耗分析第48-50页
    3.3.2 最优DataNode节点选择方案第50-54页
  3.4 改进的HDFS低延时数据读取方案第54-60页
    3.4.1 一种绕过NameNode直接下载文件的方案第55-57页
    3.4.2 进一步优化——混合缓存第57-60页
  3.5 方案中文件的特有操作第60-61页
  3.6 本章小结第61-62页
第四章 RCHDFS方案的实现与系统测试第62-74页
  4.1 云平台介绍第62-63页
  4.2 分布式系统搭建第63-67页
    4.2.1 测试环境前期准备第63-65页
    4.2.2 测试环境搭建第65-67页
  4.3 方案中用到的数据结构、修改类与自定义类第67-70页
  4.4 方案测试与比较第70-73页
  4.5 本章小结第73-74页
第五章 总结和展望第74-76页
  5.1 总结第74-75页
  5.2 展望第75-76页
参考文献第76-82页
致谢第82-83页
申请的专利和参加的项目第83-84页
学位论文评阅及答辩情況表第84页

本篇论文共84页,点击这进入下载页面
 
更多论文
基于HDFS的海量小文件读写策略研究
混合主存感知的末级缓存管理策略研
基于NVM的写操作优化策略研究与设计
基于网络编码的分布式存储系统中修
含吡啶聚合物的合成及其分子结构调
硬盘动不平衡测量和校正方法研究
分布式存储系统中的失效节点修复研
基于PXIe总线的高速固态存储卡研制
基于Swift的小对象访问性能优化研究
基于HDFS的分布式存储中负载均衡技
生物分子与共轭聚合物双层结构有机
TFC磁头磁盘界面气体薄膜多物理场耦
YFe0.5Cr0.5
近阈值8管存储器设计
基于ECC电路的软错误修复和测试诊断
基于页组映射的固态盘闪存转换层优
NAND Flash错误特性模型及应用研究
基于Swift的海量小文件对象存储研究
DPDK结构下类Socket接口研究与设计
面向InfiniBand控制器的PCI Expres
基于固件文件系统的UEFI安全机制研
基于FPGA结构高速PCIe总线传输系统
USB存储设备安全机制的研究与实现
PCI Express总线分析仪硬件设计
PXIExpress总线接口DMA控制器及驱动
基于振动测试系统的3D打印机优化技
基于数值模拟的塑料颗粒3D打印机关
基于LED光的三维扫描仪控制系统研究
桌面级三维激光扫描仪样机及扫描算
量子存储板高速数据传输接口关键技
PCI Express总线分析仪软件设计
一体化信息处理平台总线架构设计与
多GPU并行计算及其在粒子模拟中的应
一种高速加法器—前置进位加法器研
基于DataMPI的并行矩阵乘法计算模型
性能确保的能耗感知实时应用设计优
基于S5PV210的频谱监测设备嵌入式系
嵌入式全系统模拟器框架设计与实现
基于智能视频眼镜的交互设计与应用
面向可穿戴应用的动态可重构调度平
基于多点互备援的高可用服务器管理
基于单链接和期望最大化规则聚类的
基于移动互联技术的同城货运业务流
低复杂度CPM系统算法研究
基于深度学习的室内定位算法研究
基于Petri网的建筑市场监管工作流设
交通枢纽行人导引系统的路径规划算
基于变量选择偏差的变量选择过程
Hama图并行计算框架中任务槽模型及
复杂网络重叠社团划分算法研究与实
针对复杂的环境和结构的中继网络优
基于增强学习的启发式和元启发式搜
基于置信概率映射的抗干扰算法研究
云计算下任务调度算法的研究与实现
基于多属性消减的概念格构造算法研
限制性总完成时间跨度问题及其算法
基于用户评价的路径查询优化技术研
 
云存储论文 HDFS论文 Redis集群论文 小文件问题论文
版权申明:目录由用户hs**提供,www.51papers.com仅收录目录,作者需要删除这篇论文目录请点击这里
| 设为首页||加入收藏||站内搜索引擎||站点地图||在线购卡|
版权所有 教育论文网 Copyright(C) All Rights Reserved