【免费赠送源码】基于Spark的海量用户行为数据分析系统

本文链接：https://blog.youkuaiyun.com/m0_72826114/article/details/132446531

一．论文选题的目的和意义

目的：随着信息技术的飞速发展，大数据时代对人类的数据驾驭能力提出了新的挑战，消费者用智能终端去电子商务网站，社交网络，微博，微信上购物变得越来越方便。因此，对于消费者来说，在庞大的商品中快速找到自己所需要的商品成为必须解决的问题。对于企业来说，如何让自身商品从海量数据中脱颖而出并得到消费者的认可也是急需解决的问题。

意义：电商和企业可于通过用户行为分析系统向消费者推荐自己的商品，从而快速，全面，准确的满足消费者需求，从行为分析系统需求层面来看，人们对于日志信息关注度不断提高的同时，市场的大量技术和工具能完成日志分析，及对日志中的有效数据信息进行挖掘，功能也比较强大。电商用户行为分析系统的规划设计直接影响到现如今信息技术的发展，对大数据的发展有着极大的促进作用，对人们的生活，时代的发展也有着极大的影响。

二．选题研究的基本内容

通过研究Spark技术在处理海量数据方面的优势，及其应用现状，结合搜索用户网络日志的特点，依托目前的分布式Hadoop集群，设计并实现基于Spark分布式技术的用户网络行为分析系统。用户行为分析系统的前后台业务需求，日志采集存储，日志数据预处理，数据挖掘流程，可视化页面的设计与实现，环境搭建以及配置文件的修改内容。探讨电商用户行为分析问题，研究内容包括：构建了基于Spark的可扩展的用户行为分析系统框架，设计了基于哈希映射分区的日志采集存储策略，提出了基于混合阈值会话识别的数据预处理方法，针对服务器中的网络访问日志进行数据挖掘和统计分析，从中获得用户行为规律，并提供可视化展现等功能，能够自定义功能供用户选择，如不同用户访问的类型等。

三．拟解决的关键问题及难点

1.在需求分析阶段，完成需求调查

需求调查时前期涉及最重要的部分，以前从未调查过，应多阅读资料，请教指导教师，完成合格详细正确的需求调查。

2.详细设计

总结电商用户行为分析方法的类型，网络用户行为数据的收集和预处理，基于Spark的网络用户行为分析方法的设计，改进电商用户行为分析算法逐步展开研究。

3.技术难点

（1）由于数据量大不易精准分析用户行为从而快速定位到用户的兴趣爱好。

（2）Spark仍然对于流数据的处理支持有些欠缺，无法满足实时性很高的处理需求。

（3）日志采集不稳定，占用内存大，长时间使用会产生较多内存碎片。
报告截图：