教育论文网

网络爬虫技术在云平台上的研究与实现

硕士博士毕业论文站内搜索    
分类1:教育论文网→工业技术论文→自动化技术、计算机技术论文计算技术、计算机技术论文计算机的应用论文信息处理(信息加工)论文检索机论文
分类2:教育论文网→工业技术论文→自动化技术、计算机技术论文计算技术、计算机技术论文计算机的应用论文计算机网络论文一般性问题论文
网络爬虫技术在云平台上的研究与实现
论文目录
 
摘要第1-6页
ABSTRACT第6-11页
第一章 绪论第11-15页
  1.1 课题背景和研究意义第11-12页
  1.2 国内外研究现状第12-13页
  1.3 主要研究内容第13-14页
  1.4 本论文的结构安排第14-15页
第二章 相关技术介绍第15-24页
  2.1 网络爬虫技术第15-20页
    2.1.1 网络爬虫基本结构第15-17页
    2.1.2 网络爬虫分类第17页
    2.1.3 分布式网络爬虫架构第17-20页
  2.2 云计算平台第20-21页
    2.2.1 云计算平台介绍第20页
    2.2.2 云计算平台特点第20-21页
  2.3 非关系型数据库第21-23页
    2.3.1 NoSQL第21页
    2.3.2 Redis数据库第21-23页
  2.4 本章小结第23-24页
第三章 云平台上网络爬虫的研究与设计第24-45页
  3.1 需求分析第24-25页
    3.1.1 非功能性需求第24页
    3.1.2 功能性需求第24-25页
  3.2 网络爬虫总体架构设计第25-27页
  3.3 控制节点的研究与设计第27-33页
    3.3.1 控制节点整体结构设计第27-28页
    3.3.2 URL管理模块研究与设计第28-31页
      3.3.2.1 URL标准化第29-30页
      3.3.2.2 URL去重第30-31页
    3.3.3 虚拟机管理模块研究与设计第31-33页
      3.3.3.1 预警机制第32-33页
      3.3.3.2 虚拟机池第33页
  3.4 爬虫节点的研究与设计第33-39页
    3.4.1 爬虫节点整体结构设计第33-34页
    3.4.2 DNS缓存研究与设计第34-36页
    3.4.4 爬虫节点功能模块的研究与设计第36-39页
      3.4.4.1 网页下载模块研究与设计第36-37页
      3.4.4.2 网页解析模块研究与设计第37-38页
      3.4.4.3 数据存储模块研究与设计第38-39页
  3.5 Web管理页面研究与设计第39-44页
    3.5.1 Web管理页面结构设计第39-40页
    3.5.2 相关数据库设计第40-42页
    3.5.3 创建爬虫任务设计第42-43页
    3.5.4 管理爬虫任务设计第43-44页
    3.5.5 监控爬虫节点设计第44页
  3.6 本章小结第44-45页
第四章 云平台上网络爬虫的具体实现第45-65页
  4.1 项目结构第45-46页
  4.2 控制节点功能模块实现第46-52页
    4.2.1 控制节点初始化第46-48页
    4.2.2 URL管理模块实现第48-49页
    4.2.3 虚拟机管理模块实现第49-52页
  4.3 爬虫节点各功能模块实现第52-61页
    4.3.1 数据流对象第52-53页
    4.3.2 爬虫节点初始化第53-55页
    4.3.3 网页下载模块实现第55-57页
    4.3.4 网页解析模块实现第57-60页
    4.3.5 数据存储模块实现第60-61页
  4.4 Web管理页面实现第61-64页
    4.4.1 创建爬虫任务实现第62-63页
    4.4.2 管理爬虫任务实现第63-64页
    4.4.3 监控爬虫节点实现第64页
  4.5 本章小结第64-65页
第五章 系统测试第65-73页
  5.1 测试环境搭建第65-67页
    5.1.1 软硬件配置第65-66页
    5.1.2 系统部署第66-67页
  5.2 系统测试第67-72页
    5.2.1 系统功能测试第67-70页
    5.2.2 系统性能测试第70页
    5.2.3 系统可扩展性测试第70-72页
  5.3 本章小结第72-73页
第六章 总结与工作展望第73-75页
  6.1 总结第73-74页
  6.2 工作展望第74-75页
致谢第75-76页
参考文献第76-79页

本篇论文共79页,点击这进入下载页面
 
更多论文
网络爬虫技术在云平台上的研究与实
在线社会媒体的流行性预测研究
网络舆情引导平台系统及其关键技术
基于用户画像的医疗信息精准推荐的
主题引导推荐系统
中文开放式实体关系抽取研究与实现
汉语虚词用法在短语句法分析中的应
基于本体的语义相似度研究
面向中医医案的数据挖掘技术研究及
结合正向和负向相关因子的推荐算法
MOOC讨论区数据挖掘与应用
Web事件关联关系挖掘研究
智能电视端下基于主题模型的视频推
基于高效流形排序算法的课程相似度
基于内容和链接的主题爬虫的研究与
推荐系统框架模型及协同过滤算法研
上下文感知系统框架及不一致上下文
基于Spark的sMRI影像分类诊断与电影
kmeans聚类算法的改进及其在信息检
一种基于改进协同过滤的电子商务推
基于新浪微博的短文本分类研究
基于组合策略的IPTV节目推荐
基于混合方式的电影个性化推荐研究
基于党建领域社交网络的协同主题回
协同过滤推荐系统中冷启动问题的研
词典与统计相结合的傣文分词方法与
基于LDA主题模型和标签聚类的党建信
基于维基百科的中文命名实体语料库
基于双语的事件抽取方法研究
句子级情绪分类方法研究
面向微博文本的情绪分析方法研究
统计机器翻译领域自适应方法研究
基于MLN的中文事件推理方法的研究
基于平行语料库的跨语言实体关系抽
基于用户偏好分析的个性化信息检索
文华学院学生就业推荐与招聘系统研
基于混合模式的个性化音乐推荐系统
基于空间数据挖掘的个性化旅游景点
基于行为分析的个性化旅游景区推荐
个性化混合推荐算法在旅游中的应用
基于遗传算法的跨领域产品评论的虚
基于图数据库的产品评论情感分析与
微博新词发现与新词情感倾向性研究
电影评分数据分析及用户行为偏好建
聚类算法和卷积神经网络在文本情感
基于地理坐标的微博事件检测与分析
基于交叉词项的中文信息检索方法研
优化特征选择的CTM模型在文本分类中
基于神经网络集成和用户偏好模型的
基于偏好感知的微信公众平台混合推
基于云模型理论的LDA最大熵模型观点
基于改进TFIDF的混合模型文本分类方
基于超图的文本摘要与关键词协同抽
基于语义指纹和云模型的动态词义变
基于语义指纹关联的网络事件热度分
基于语义分析的文本检索模型技术研
中文短文本实体识别和链接研究
改进的互信息与LDA结合的特征降维方
汉语复句中基于语料统计的决策式依
基于关系词搭配的汉语复句依存关系
中文微博评论对象抽取研究
基于社交网络文本分析的短期股市行
基于微信公众号的文本分类研究
基于VSM模型和ILDA模型联合建模的新
基于Scrapy爬取电商平台数据及自动
面向移动互联网的文本分类技术应用
深度重启的Arnoldi加速的PageRank方
基于要素投影的事件本体形式化方法
基于深度学习的短信分类技术研究
分类学术文献搜索引擎的应用和研究
基于领域本体的客服问答系统的设计
基于社交网络信任度的协同过滤推荐
基于深度神经网络的统计机器翻译模
中文文本实体关系抽取方法研究
基于多语言模型融合的鲁棒手写后处
基于依存关系的语义表示方法研究
面向社会媒体的高校网络舆情分析系
基于分布式表示的汉语问答系统
微博情绪分类的关键技术研究
 
云平台论文 分布式论文 网络爬虫论文
版权申明:目录由用户linc**提供,www.51papers.com仅收录目录,作者需要删除这篇论文目录请点击这里
| 设为首页||加入收藏||站内搜索引擎||站点地图||在线购卡|
版权所有 教育论文网 Copyright(C) All Rights Reserved