教育论文网

面向商业舆情分析的大规模数据处理架构优化设计研究

硕士博士毕业论文站内搜索    
分类:教育论文网→工业技术论文→自动化技术、计算机技术论文计算技术、计算机技术论文计算机的应用论文信息处理(信息加工)论文文字信息处理论文
面向商业舆情分析的大规模数据处理架构优化设计研究
论文目录
 
摘要第1-6页
ABSTRACT第6-15页
第一章 绪论第15-21页
  1.1 选题背景与意义第15-17页
  1.2 国内外研究历史与现状第17-19页
    1.2.1 国外主流的舆情分析研究现状第17-18页
    1.2.2 国内舆情分析研究现状第18-19页
  1.3 论文研究主要工作内容第19页
  1.4 论文结构安排第19-21页
第二章 商业舆情分析系统的关键技术第21-36页
  2.1 引言第21页
  2.2 软件架构的分类第21-25页
    2.2.1 分层结构第21-23页
    2.2.2 事件驱动架构第23页
    2.2.3 微内核架构第23-24页
    2.2.4 微服务架构第24-25页
  2.3 面向批处理数据的Hadoop架构—舆情系统中的“冷数据”处理第25-29页
    2.3.1 HDFS分布式文件系统体系结构第25-26页
    2.3.2 HBase体系结构第26-28页
    2.3.3 Map Reduce编程模型第28-29页
  2.4 面向实时流数据处理相关架构—舆情系统中的“热数据”处理第29-35页
    2.4.1 主流实时计算数据处理框架介绍与比较第30-32页
    2.4.2 Spark Streaming流式计算框架详细介绍第32-35页
  2.5 小结第35-36页
第三章 商业舆情分析系统的需求分析和总体设计第36-43页
  3.1 引言第36页
  3.2 系统总体需求分析第36-37页
  3.3 系统功能性需求分析第37-39页
  3.4 系统非功能性需求分析第39-40页
  3.5 系统总体设计第40-42页
    3.5.1 舆情系统软件体系架构第40-41页
    3.5.2 舆情系统软件网络拓扑第41-42页
  3.6 小结第42-43页
第四章 商业舆情分析系统架构分层详细设计第43-79页
  4.1 引言第43页
  4.2 基础平台层设计第43-46页
    4.2.1 数据存储技术第43页
    4.2.2 基于多存储介质的分层存储架构第43-46页
  4.3 舆情数据采集模块整体设计第46-53页
    4.3.1 爬虫介绍第46-47页
    4.3.2 基于API接口与Web Magic爬虫相结合的数据采集系统设计第47-51页
    4.3.3 基于Hadoop的分布式数据存储设计第51-53页
  4.4 舆情数据信息预处理设计第53-64页
    4.4.1 基于JSoup开源框架的网页数据预处理第53-57页
    4.4.2 基于NLPIR开源框架的文本数据预处理第57-59页
    4.4.3 基于TF-IDF文本特征计算的改进第59-60页
    4.4.4 基于改进的K-means算法的舆情话题聚类检测第60-64页
  4.5 舆情业务分析模块设计第64-68页
    4.5.1 舆情信息情感分类第64-66页
    4.5.2 舆情热点话题识别第66-68页
  4.6 Web端应用模块设计第68-78页
    4.6.1 功能展示设计第68页
    4.6.2 功能展示模块技术实现第68-70页
    4.6.3 基于Redis的中间缓存设计实现第70-71页
    4.6.4 基于Action重排序以及RDD权重计算的ASRW算法设计第71-78页
  4.7 小结第78-79页
第五章 实验与分析第79-93页
  5.1 环境搭建第79-85页
    5.1.1 集群节点配置第80-81页
    5.1.2 Hadoop配置以及参数的优化第81-83页
    5.1.3 Spark配置与性能调优第83-85页
  5.2 实验结果与分析第85-92页
    5.2.1 舆情信息爬取以及话题分析结果第85-87页
    5.2.2 改进的K-means聚类方法测试结果分析第87-90页
    5.2.3 Spark性能优化测试结果分析第90-92页
  5.3 小结第92-93页
第六章 总结与展望第93-95页
  6.1 全文总结第93页
  6.2 前景展望第93-95页
致谢第95-96页
参考文献第96-100页
攻读硕士期间取得的研究成果第100-101页

本篇论文共101页,点击这进入下载页面
 
更多论文
面向商业舆情分析的大规模数据处理
分布式垂直搜索引擎的研究与设计
基于Hadoop的分布式网络爬虫系统的
融合信任关系的二重聚类推荐算法研
基于GA-KNN分类模型在船期数据分析
基于主题模型的社交网络关系发现算
基于用户行为的内容加速系统的设计
网络爬虫技术在云平台上的研究与实
在线社会媒体的流行性预测研究
网络舆情引导平台系统及其关键技术
基于用户画像的医疗信息精准推荐的
主题引导推荐系统
中文开放式实体关系抽取研究与实现
汉语虚词用法在短语句法分析中的应
基于本体的语义相似度研究
面向中医医案的数据挖掘技术研究及
结合正向和负向相关因子的推荐算法
MOOC讨论区数据挖掘与应用
Web事件关联关系挖掘研究
智能电视端下基于主题模型的视频推
基于高效流形排序算法的课程相似度
基于内容和链接的主题爬虫的研究与
推荐系统框架模型及协同过滤算法研
上下文感知系统框架及不一致上下文
基于Spark的sMRI影像分类诊断与电影
kmeans聚类算法的改进及其在信息检
一种基于改进协同过滤的电子商务推
基于新浪微博的短文本分类研究
基于组合策略的IPTV节目推荐
基于混合方式的电影个性化推荐研究
基于党建领域社交网络的协同主题回
协同过滤推荐系统中冷启动问题的研
词典与统计相结合的傣文分词方法与
基于LDA主题模型和标签聚类的党建信
基于维基百科的中文命名实体语料库
基于双语的事件抽取方法研究
句子级情绪分类方法研究
面向微博文本的情绪分析方法研究
统计机器翻译领域自适应方法研究
基于MLN的中文事件推理方法的研究
基于平行语料库的跨语言实体关系抽
基于用户偏好分析的个性化信息检索
文华学院学生就业推荐与招聘系统研
基于混合模式的个性化音乐推荐系统
基于空间数据挖掘的个性化旅游景点
基于行为分析的个性化旅游景区推荐
个性化混合推荐算法在旅游中的应用
基于遗传算法的跨领域产品评论的虚
基于图数据库的产品评论情感分析与
微博新词发现与新词情感倾向性研究
电影评分数据分析及用户行为偏好建
聚类算法和卷积神经网络在文本情感
基于地理坐标的微博事件检测与分析
基于交叉词项的中文信息检索方法研
优化特征选择的CTM模型在文本分类中
基于神经网络集成和用户偏好模型的
基于偏好感知的微信公众平台混合推
基于云模型理论的LDA最大熵模型观点
基于改进TFIDF的混合模型文本分类方
基于超图的文本摘要与关键词协同抽
基于语义指纹和云模型的动态词义变
基于语义指纹关联的网络事件热度分
基于语义分析的文本检索模型技术研
中文短文本实体识别和链接研究
改进的互信息与LDA结合的特征降维方
汉语复句中基于语料统计的决策式依
基于关系词搭配的汉语复句依存关系
中文微博评论对象抽取研究
基于社交网络文本分析的短期股市行
基于微信公众号的文本分类研究
基于VSM模型和ILDA模型联合建模的新
基于Scrapy爬取电商平台数据及自动
面向移动互联网的文本分类技术应用
深度重启的Arnoldi加速的PageRank方
 
商业舆情论文 架构 Hadoop论文 流数据处理论文 话题聚类论文
版权申明:目录由用户leizhixio**提供,www.51papers.com仅收录目录,作者需要删除这篇论文目录请点击这里
| 设为首页||加入收藏||站内搜索引擎||站点地图||在线购卡|
版权所有 教育论文网 Copyright(C) All Rights Reserved