kafka安装部署

下载安装包并配置文件

可直接在官网下载对应的版本http://kafka.apache.org/downloads

下载完之后在winCP进行上传

上传到/opt/module目录下，使用 tar -zxvf kafka_2.12-3.0.0.tgz 解压到当前目录。

cd 进入目录

cd 到 config 目录 修改配置文件server.properties

broker.id=0
num.network.threads=2
num.io.threads=8
socket.send.buffer.bytes=1048576
socket.receive.buffer.bytes=1048576
socket.request.max.bytes=104857600
log.dirs=/tmp/kafka-logs
num.partitions=2
log.retention.hours=168
 
log.segment.bytes=536870912
log.retention.check.interval.ms=60000
log.cleaner.enable=false
 
zookeeper.connect=hadoop1:2181,hadoop2:2181,hadoop3:2181/kafka
zookeeper.connection.timeout.ms=1000000

对比这个修改配置文件，最好一个一个对照着改，

kafka要使用集群分发所以我们要准备三台机子，不需要每台都配。配好一个使用集群分发就好了。

编写集群分发脚本

scp（secure copy）安全拷贝

1.scp 定义：

scp 可以实现服务器与服务器之间的数据拷贝。（from server1 to server2）

2.基本语法：

scp   -r     $pdir/$fname         $user@$host:$pdir/$fname
命令 递归  要拷贝的文件路径/名称   目的地用户@主机:目的地路径/名称

3.案例实操

前提：在 hadoop102、hadoop103、hadoop104 都已经创建好的/opt/module、 /opt/software 两个目录

（a）在 hadoop1 上，将 hadoop102 中/opt/module/kafka_2.12-3.0.0 目录拷贝到hadoop103上。

[root@hadoop1 ~]# scp -r /opt/module/kafka_2.12-3.0.0/  root@hadoop3:/opt/module/

（b）也可以在 hadoop3上，将 hadoop1 中/opt/module/kafka_2.12-3.0.0 目录拷贝到hadoop3上。

[root@hadoop3 ~]# scp -r  root@hadoop1:/opt/module/kafka_2.12-3.0.0   ./

（c）还可以在 hadoop2 上操作，将 hadoop1 中/opt/modulekafka_2.12-3.0.0 目录拷贝到hadoop3上。

[root@hadoop2 ~]# scp -r  root@hadoop1:/opt/module/kafka_2.12-3.0.0   root@hadoop3:/opt/module

rsync 远程同步工具

rsync 主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。

rsync 和 scp 区别：

用 rsync 做文件的复制要比 scp 的速度快，rsync 只对差异文件做更新。scp 是把所有文件都复制过去。

1.基本语法

rsync -av $pdir/$fname $user@$host:$pdir/$fname

命令 选项参数 要拷贝的文件路径/名称 目的地用户@主机:目的地路径/名称

-a 归档拷贝

-v 显示复制过程

2.案例实操

（a）删除 hadoop2 中/opt/module/kafka_2.12-3.0.0

[root@hadoop2 module]# rm -rf kafka_2.12-3.0.0/

（b）同步 hadoop1 中的/opt/module/kafka_2.12-3.0.0 到 hadoop2