Spark安装，Flume安装，Kafka安装

Spark安装

1，准备安装包，解压，重命名

spark-2.2.0-bin-hadoop2.7.tgz
[root@hadoop160 software]# tar -zxf spark-2.2.0-bin-hadoop2.7.tgz -C /opt
[root@hadoop160 opt]# mv spark-2.2.0-bin-hadoop2.7/ spark

2，配置环境变量

export SPARK_HOME=/opt/spark
export PATH=$SPARK_HOME/bin:$PATH

source
3，配置文件

[root@hadoop160 conf]# mv spark-env.sh.template spark-env.sh

export JAVA_HOME=/opt/jdk8
export HADOOP_HOME=/opt/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
#指定master的主机
export SPARK_MASTER_HOST=hadoop160
#指定master的端口
export SPARK_MASTER_PORT=7077

配置slaves，单机可不修改
4,启动spark
sbin目录下启动

[root@hadoop160 spark]# sbin/start-all.sh

查看有无master ,worker进程

测试scala交互式环境

spark-shell 

Flume安装

1，解压 ，重命名

[root@hadoop160 software]# tar -zxf apache-flume-1.8.0-bin.tar.gz -C /opt
[root@hadoop160 opt]# mv apache-flume-1.8.0-bin/ flume

2，修改conf配置

[root@hadoop160 conf]# mv flume-env.sh.template flume-env.sh
[root@hadoop160 conf]# vi flume-env.sh
#添加以下配置
export JAVA_HOME=/opt/jdk8

配置etc环境

export FLUME_HOME=/opt/flume
export PATH=$FLUME_HOME/bin:$PATH

Kafka安装

1，解压，重命名

[root@hadoop160 software]# tar -zxf kafka_2.11-2.0.0.tgz -C /opt
[root@hadoop160 opt]# mv kafka_2.11-2.0.0/ kafka

2，配置server.properties文件

broker.id=0
#允许删除主题
delete.topic.enable=true      
listeners=PLAINTEXT://hadoop101:9092
log.dirs=/data/kafka-logs
#hadoop101要根据情况换为自己的hostname，配置zookrp
zookeeper.connect=hadoop101:2181        

配置etc

export KAFKA_HOME=/opt/bigdata/kafka211
export PATH=$PATH:$KAFKA_HOME/bin

3,启动kafka

[root@lijia1 kafka211]# kafka-server-start.sh ./config/server.properties
[root@lijia1 kafka211]# kafka-server-start.sh -daemon ./config/server.properties  //后台启动

4，kafka命令

// 创建topic
[root@lijia1 kafka211]# kafka-topics.sh --create --zookeeper 192.168.153.141:2181 --topic kb07demo --partitions 3 --replication-factor 1
Created topic "kb07demo".

// 查看当前kafka中的topic
[root@lijia1 kafka211]# kafka-topics.sh --zookeeper 192.168.153.141:2181 --list

// 查看topic详情
[root@lijia1 kafka211]# kafka-topics.sh --zookeeper 192.168.153.141:2181 --describe --topic kb07demo

// 删除topic
[root@lijia1 kafka211]# kafka-topics.sh --zookeeper 127.0.0.1:2181 --delete --topic kb05

// 创建生产者，产生数据
[root@lijia1 kafka211]# kafka-console-producer.sh --topic kb07demo --broker-list 192.168.153.141:9092

// 创建消费者，重头开始取数据
[root@lijia1 ~]# kafka-console-consumer.sh --bootstrap-server 192.168.153.141:9092 --topic kb07demo --from-beginning

根据版本不同，或者用   
bin/kafka-console-consumer.sh --zookeeper hadoop101:2181 --from-beginning --topic test20200722



// 查看topic消息队列数量
[root@lijia1 config]# kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list 192.168.153.141:9092 --topic kb07demo -time -1 --offsets 1