搭建Lambda架构日志分析流水线

搭建日志分析流水线

1 准备工作
（1）启动HDFS
a)启动所有的Zookeeper，在3个节点分别使用以下命令：

zkServer.sh start

b)启动HDFS，在master节点使用以下命令：

start-dfs.sh

c)启动Yarn，在master节点使用以下命令：

start-yarn.sh

d)检查进程是否全部启动，在3个节点分别使用以下命令：

jps

（2）启动和配置Kafka
a)启动kafka，在3个节点分别使用以下命令：

kafka-server-start.sh -daemon /usr/local/kafka/config/server.properties &

b)检查kafka是否启动成功，在3个节点分别使用以下命令：

jps

c)创建lambda主题，在master执行以下命令：

kafka-topics.sh --create --zookeeper master:2181,slave1:2181,slave2:2181 --replication-factor 3 --partitions 3 --topic lambda

d)查看主题是否创建成功，使用以下命令：

kafka-topics.sh --list --zookeeper master:2181,slave1:2181,slave2:2181

e)启动控制台消费者，查看lambda主题接收到的数据，在master使用以下命令：

kafka-console-consumer.sh --bootstrap-server master:9092,slave1:9092,slave2:9092 --topic lambda

（3）生成网站访问日志：
a)启动Nginx，在master使用以下命令：

sudo systemctl start nginx

b)访问网页，使用以下网址：

http://master/shop.html

c)检查是否生成日志，在master使用以下命令：

sudo tail -F /var/log/nginx/access.log

（4）创建lambda目录存储项目文件，在master使用以下命令：

mkdir /home/hadoop/lambda

（5）配置Spark依赖的第三方jar文件
a)上传mysql-connector-java-5.1.47.jar、spark-streaming-kafka-0-8_2.11-2.4.6.jar和spark-streaming-kafka-0-8-assembly_2.11-2.4.6.jar文件到/usr/local/spark/jars
如图：

（6）在MySQL创建lambda用户和lambda数据库，步骤如下：
a)查看MySQL管理员账号和密码，使用以下命令：

sudo cat /etc/mysql/debian.cnf

b)使用管理员账号和密码登录MySQL
c)创建lambda用户，使用以下命令：

CREATE USER 'lambda'@'%' IDENTIFIED BY '123456';

d)给lambda用户授权，使用以下命令：

GRANT ALL PRIVILEGES ON lambda.* TO 'lambda'@'%';
FLUSH PRIVILEGES;

e)创建lambda数据库，使用以下