基于Hadoop的微博用户影响力分析

发布时间：2024-12-20 10:10

节点文献

Analysis of Micro-blog User Influences Based on Hadoop

分页下载分章下载整本下载在线阅读不支持迅雷等下载工具，请取消加速工具后下载。

【作者】王颖；

【导师】李巍；

【作者基本信息】山东大学，计算机科学与技术（专业学位）， 2018，硕士

【摘要】随着网民数量的增加和社交媒体的影响力日益扩大,新浪微博作为影响力较大的社交平台吸引了越来越多的公众参与,尤其是业界知名人士、人气明星的加入,更加增强了新浪微博的社会影响的力度和广度。在当今网民数量的不断增加、网络流量激增的互联网时代,应用大数据获取数据、分析数据、挖掘隐含信息已成为当下的热点之一。新浪微博的原始数据量较大,分析原始数据,发现其潜在价值已经成为深入了解用户的基础,为企业的精准营销、商业推广等方面提供了有力的技术支持。项目通过采集微博数据,基于影响力对用户进行分类,为个性化服务等方面提供了理论依据。项目主要包括三个模块,即数据采集模块、数据导入模块和数据分析模块。数据采集模块设计分布式采集架构,采集用户数据和微博数据。数据导入模块设计多种格式的数据源到Hadoop集群的接入方式,提高数据接入的鲁棒性。数据分析模块首先提取微博用户特征,设计用户影响力模型,实现K-MEANS接口,在博文魅力指数因子、用户行为因子、转发层次因子三个维度下对用户影响力进行聚类。数据采集模块基于Scrapy框架,设计代理IP子模块,提高了数据采集器抵抗反爬取的能力。数据导入模块设计异构数据源的接入方... 更多

【Abstract】 With the increase of the number of Internet users and the growing influence of social media,micro-blog as a more influential social platform has attracted more and more public participation,especially the joining of industry celebrities and popular stars,which strengthens the social influence intensity and breadth of micro-blog.At present,the number of Internet users continue to increase,the Internet traffic surge in the Internet era,application of large data to obtain data,analysis of data has ... 更多

【网络出版投稿人】山东大学【网络出版年期】2019年 01期【分类号】TP311.13 【下载频次】109