基于大数据电商平台日志

一、项目介绍

本次实训，要求使用Hadoop及其生态圈相关的组件来是实现企业级大数据开发的整套流程，即数据的采集部分会介绍两种方式，一种介绍网络爬虫及其Java代码实现步骤，另外一种是利用学生所掌握的spring MVC技术来构建一个简易的电商平台，采取压测的方式模拟海量日志的产生，通过使用Nginx和Tomcat实现动静资源分开部署的方式，采取flume日志采集组件来实现日志的采集。

【大数据Hadoop开发】大数据项目实战-大型电商日志分享系统_哔哩哔哩_bilibili

相比网络爬虫，这部分是实训所推荐的一种数据采集方式，数据的存储部分，将采用mysql和hdfs来分别存储关系型数据和非关系型数据，其中将会使用到sqoop组件作为mysql和hdfs之间的数据的转换桥梁和通道，数据分析处理部分采用MapReduce程序实现数据的清洗和分析，数据可视化部分，采用echarts图表来展现。

最终的效果是 通过压测产生电商系统日志、sqoop将分析后的结果导入到mysql中，spring MVC项目前端对分析结果进行可视化，既展现商品的topN信息。

二、项目流程

项目工作准备

1、虚拟机安装

实训的项目主要是进行大数据的实训，所以需要安装linux，使用VMware Workstation作为虚拟机安装Linux系统，

下载虚拟机

连接

密码

创建虚拟机

2、远程登录

Linux一般作为服务器使用，而服务器一般放在机房，你不可能在机房操作你的Linux服务器。这时我们就需要远程登录到Linux服务器来管理维护系统。

Linux系统是通过SSH服务实现的远程登录功能，默认ssh服务端口号为22。