教育论文网

分布式在线图书爬虫系统的设计与实现

硕士博士毕业论文站内搜索    
分类:教育论文网→工业技术论文→自动化技术、计算机技术论文计算技术、计算机技术论文计算机软件论文程序设计、软件工程论文软件工程论文
分布式在线图书爬虫系统的设计与实现
论文目录
 
致谢第1-6页
摘要第6-7页
ABSTRACT第7-11页
1 引言第11-19页
  1.1 研究背景第11-13页
    1.1.1 爬虫介绍第12-13页
    1.1.2 爬虫和在线图书结合的意义第13页
  1.2 国内外研究现状第13-16页
    1.2.1 传统搜索引擎和垂直搜索引擎对比第13-15页
    1.2.2 开源爬虫发展研究第15-16页
  1.3 本论文研究内容和论文组织结构第16-17页
  1.4 本章小结第17-19页
2 相关技术介绍第19-31页
  2.1 爬取策略第19页
  2.2 Scrapy框架第19-21页
    2.2.1 Scrapy的组成第19页
    2.2.2 Scrapy数据处理流程第19-20页
    2.2.3 Scrapy架构的扩展第20-21页
  2.3 Redis数据库第21-24页
    2.3.1 Redis数据类型第22-23页
    2.3.2 Redis持久化第23-24页
  2.4 MongoDB数据库第24-27页
    2.4.1 Mon-DB分片第25-26页
    2.4.2 GridFS第26-27页
  2.5 Xpath第27页
  2.6 Graphite第27-28页
  2.7 Keepalived第28-29页
  2.8 本章小结第29-31页
3 分布式爬虫系统需求分析第31-39页
  3.1 爬虫的需求分析综述第31-32页
    3.1.1 产品特点分析第31页
    3.1.2 用户特征分析第31-32页
  3.2 系统功能性需求第32-36页
    3.2.1 调度器模块第32-33页
    3.2.2 URL爬取模块第33-34页
    3.2.3 流水线模块第34-35页
    3.2.4 监控模块第35-36页
  3.3 系统非功能性需求第36页
  3.4 爬虫系统的总体需求第36-37页
  3.5 本章小结第37-39页
4 分布式爬虫概要设计第39-47页
  4.1 设计目标第39页
  4.2 系统总体功能结构第39-40页
  4.3 系统技术实现架构第40-41页
  4.4 数据存储及使用第41-43页
  4.5 系统接口设计第43-45页
  4.6 本章小结第45-47页
5 分布式爬虫系统详细设计及实现第47-67页
  5.1 调度器模块设计和实现第47-55页
    5.1.1 URL去重子模块设计和实现第47-49页
    5.1.2 调度子模块设计和实现第49-55页
  5.2 URL爬取模块设计和实现第55-58页
    5.2.1 下载子模块设计和实现第55-57页
    5.2.2 解析子模块设计和实现第57-58页
  5.3 流水线模块设计和实现第58-63页
    5.3.1 文件流水线设计和实现第59-61页
    5.3.2 图片流水线设计和实现第61-62页
    5.3.3 详细信息流水线设计和实现第62-63页
  5.4 监控模块设计和实现第63-65页
    5.4.1 爬虫状态监控设计和实现第64页
    5.4.2 设备状态监控设计和实现第64-65页
  5.5 本章小结第65-67页
6 系统测试第67-71页
  6.1 单元测试第67页
  6.2 系统功能测试第67-68页
  6.3 性能测试第68-71页
7 结论第71-73页
  7.1 全文总结第71页
  7.2 不足和展望第71-73页
参考文献第73-75页
附录A第75-77页
附录B第77-79页
附录C第79-81页
附录D第81-83页
附录E第83-85页
附录F第85-87页
附录G第87-89页
附录H第89-91页
附录I第91-93页
作者简历第93-97页
学位论文数据集第97页

本篇论文共97页,点击这进入下载页面
 
更多论文
分布式在线图书爬虫系统的设计与实
基于Android系统的短视频编辑社交分
下一站明星成长平台webapp的设计与
酒店订购平台搜索系统的设计与实现
“华佗”风险诊断平台的设计与实现
基于物化数据立方体的营销数据在线
Hadoop自动化运维管理系统的设计与
“自品牌”个人服务交易平台的设计
基于D3.js的数据可视化系统框架设计
基于Android移动终端的订单管理系统
政企客户服务管理平台的设计与实现
在线商务平台业务支撑子平台的设计
移动设备管理工具的设计与实现
基于iOS系统古玩交易平台的设计与实
有限资源下的看板方法手机应用程序
56Baby成长记录系统的设计与实现
基于Android的驾校教练学员管理系统
山海关站计算机联锁教学仿真系统的
基于SSM的客户关系管理系统的设计与
移动新闻客户端后台的设计与实现
车队管理系统中驾驶行为实时监控模
凉山供电公司生产运行管理系统设计
凉山供电公司一体化电网规划设计平
京东商城舆情分析系统的设计与实现
滚动轴承故障诊断软件分析系统的开
基于模型检测的多反例故障定位
一种基于1分布式数值计算模式软件的
西昌新钢机电公司管理信息系统的设
鼎文科技公司购物系统设计与实现
多波高精度匹配方法研究
典型客户能效信息搜集与分析系统设
输电线路中行波测距系统的设计与实
基于Web的社区在线学习平台的设计与
脉冲发生器系列的软件设计
基于B/S结构的质量检测管理系统的设
云资源管理流程平台系统设计与实现
某银行审计数据管理系统(ARMD)的
心电T波交替检测研究及分析软件设计
面向Flash安装等GUI操作的自动化测
运用计算机集成制造系统提升生产效
九江职业技术学院网络学习及考试系
新疆空间频谱信息公共服务管理系统
训练模拟器材项目管理系统设计与实
同城支付系统设计与实现
基于Web的项目管理平台的设计与实现
四川煤炭集团办公管理信息系统的设
四川省质监校招生就业管理系统设计
基于ASP的高校化工实验室管理系统的
基于RFID技术的中职学校考勤管理系
银行网点信用卡帐户管理系统设计与
基于S1000D的IETM运行平台的研究及
某公司设备管理系统的设计与实现
装修工程电池材料管理系统的设计与
绵阳移动公司网络故障处理系统设计
重庆电子工程职业学院教学管理系统
宁夏电力公司手机办公助手的设计与
警务可视化实战应用系统研究与研发
基于多物性传感器信息的车辆管理系
机电学院教学管理信息系统项目管理
肇庆市西江洪水监测预警平台设计与
基于web的商业地产管理系统的设计与
0.4-18GHZ超宽带接收机测试系统的设
铁路机车车辆驾驶人员资格考试管理
基于RFID的高职院校开放性实验室管
客运专线客运服务信息系统总体技术
面向服务与决策支持的县级社保系统
跨移动平台的电子凭证服务系统的研
基于VeriStand技术的模拟传感器信号
集中式安全设备管控平台研究与实现
分布式角色协同控制系统stage的设计
基于最优化交换协议的医疗数据传输
远程医疗终端信息采集和传输系统的
基于XenServer的VMs在线管理系统设
云南省体育对外交流服务中心人事管
上海MEG进出口有限公司进销存系统的
基于商业智能的ERP系统研究与开发
基于CIL自动化插桩的研究与设计
长沙商贸旅游职业技术学院教学设备
中国电信天翼空间扬州3G生活门户的
某货场无线集群核心网MME系统S1AP模
城域音视频交互系统服务平台软件的
音视频新闻内容侦测系统的设计与实
基于Android的即时通讯系统的研究与
 
Scrapy论文 分布式论文 MongoDB论文
版权申明:目录由用户yuanrongch**提供,www.51papers.com仅收录目录,作者需要删除这篇论文目录请点击这里
| 设为首页||加入收藏||站内搜索引擎||站点地图||在线购卡|
版权所有 教育论文网 Copyright(C) All Rights Reserved