log数据导入kudu步骤

log数据导入kudu步骤
1.新建topic
命令：kafka-topics --zookeeper cluster2-4:2181/kafka --create -replication-factor 1 --partitions 3 --topic test

2.修改配置文件

路径：cd /opt/cloudera/parcels/CDH-6.3.1-1.cdh6.3.1.p0.1470567/etc/flume-ng/conf

-rw-r–r-- 1 root root 1052 7月 13 18:24 flume-kafka.conf flume – kafka配置文件

需要修改：1.log路径
2.topic名称

-rw-r–r-- 1 root root 888 7月 13 18:25 flume-kudu.conf kafka – flume – kudu配置文件

需要修改：1.topic名称
2.新建kudu表格

3.启动进程

flume-ng agent --conf conf/ --name a1 --conf-file conf/flume-kafka.conf -Xms256m -Xmx1024m

flume-ng agent --conf conf/ --name a1 --conf-file conf/flume-kudu.conf -Xms1024m -Xmx2048m