hadoop集群搭建day2

1 .1 hadoop-lzo-0.4.20.jar的添加

把hadoop-lzo-0.4.20.jar移动到/opt/module/hadoop-2.7.2/share/hadoop/common/

同步hadoop-lzo-0.4.20.jar到hadoop103、hadoop104

[hadoop100@hadoop102 common]$ xsync hadoop-lzo-0.4.20.jar

1.2 添加配置

<property>
<name>io.compression.codecs</name>
<value>
org.apache.hadoop.io.compress.GzipCodec,
org.apache.hadoop.io.compress.DefaultCodec,
org.apache.hadoop.io.compress.BZip2Codec,
org.apache.hadoop.io.compress.SnappyCodec,
com.hadoop.compression.lzo.LzoCodec,
com.hadoop.compression.lzo.LzopCodec
</value>
</property>
<property>
    <name>io.compression.codec.lzo.class</name>
    <value>com.hadoop.compression.lzo.LzoCodec</value>
</property>

同样同步到103 104 

xsync core-site.xml

2.1 安装zk

tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module/

将/opt/module/zookeeper-3.4.10/conf这个路径下的zoo_sample.cfg修改为zoo.cfg

打开zoo.cfg文件，修改dataDir路径：

[hadoop100@hadoop102 conf]$ sudo vim zoo.cfg 

修改如下内容：

dataDir=/opt/module/zookeeper-3.4.10/zkData

在/opt/module/zookeeper-3.4.10/这个目录上创建zkData文件夹

在hadoop2里面   myid内容 hadoop102对应2 hadoop3对应3 hadoop4对应4

在zoo.cfg里添加

#######################cluster##########################

server.2=hadoop102:2888:3888

server.3=hadoop103:2888:3888

          server.4=hadoop104:2888:3888

然后

2.2启动zk

分发给hadoop103 104

3.1 把log-collector-1.0-SNAPSHOT-jar-with-dependencies.jar 放到module下

然后同步给hadoop103 104  再把104的删除

3.2脚本编写

在/home/atguigu/bin目录下创建脚本lg.sh

[hadoop100@hadoop102 bin]$ vim log.sh

在脚本中编写如下内容

#! /bin/bash

 

for i in hadoop102 hadoop103

do

ssh $i "java -classpath /opt/module/log-collector-1.0-SNAPSHOT-jar-with-dependencies.jar com.atguigu.appclient.AppMain  >/opt/module/test.log &"

done

注意：

（1）修改/etc/profile文件：所有用户的shell都有权使用这些环境变量。

（2）修改~/.bashrc文件：针对某一个特定的用户，如果你需要给某个用户权限使用这些环境变量，你只需要修改其个人用户主目录下的.bashrc文件就可以了。

（3）配置登录远程服务器立即source一下环境变量

3.3创建时间脚本

在脚本中编写如下内容

#! /bin/bash

 

for i in hadoop102 hadoop103

do

ssh $i "java -classpath /opt/module/log-collector-1.0-SNAPSHOT-jar-with-dependencies.jar com.atguigu.appclient.AppMain  >/opt/module/test.log &"

done

创建集群所有进程查看脚本

在脚本中编写如下内容

#! /bin/bash

 

for i in hadoop102 hadoop103 hadoop104

do

        echo --------- $i ----------

        ssh $i "$*"

done

4.1 flume安装

1）将apache-flume-1.7.0-bin.tar.gz上传到linux的/opt/software目录下

2）解压apache-flume-1.7.0-bin.tar.gz到/opt/module/目录下

tar -zxf apache-flume-1.7.0-bin.tar.gz -C /opt/module/

3）修改apache-flume-1.7.0-bin的名称为flume

 mv apache-flume-1.7.0-bin flume

1. 将flume/conf下的flume-env.sh.template文件修改为flume-env.sh，并配置flume-env.sh文件

 mv flume-env.sh.template flume-env.sh

 vi flume-env.sh

添加

export JAVA_HOME=/opt/module/jdk1.8.0_144