kafka，flume的常用指令

最新推荐文章于 2023-09-14 00:03:56 发布

原创最新推荐文章于 2023-09-14 00:03:56 发布 · 224 阅读

0 ·

CC 4.0 BY-SA版权

kafka 同时被 2 个专栏收录

1 篇文章

订阅专栏

flume

0 篇文章

订阅专栏

本文介绍了Kafka中创建及管理Topic的方法，包括创建、查看、删除Topic等操作；Flume的数据采集配置与启动流程；以及HDFS文件权限的修改方式。

一.kafka
创建topic：./bin/kafka-topics.sh --create --zookeeper 172.16.101.10:2181 --replication-factor 1 --partitions 1 --topic test
查看当前服务器中的所有topic：./bin/kafka-topics.sh --list --zookeeper 172.16.101.10:2181
删除topic：./bin/kafka-topics.sh --zookeeper 172.16.101.10:2181 --delete --topic test（删除之前，需要先将server.properties文件中的配置delete.topic.enable=true更改一下，否则执行删除命令不会生效）
模拟生产者：./bin/kafka-console-producer.sh --broker-list 130.51.23.95:9092 --topic test
模拟消费者：./bin/kafka-console-consumer.sh --zookeeper（–bootstrap-server） 172.16.101.10:9092 --topic test --from-beginning
查看某个topic的详情：./bin/kafka-topics.sh --describe --zookeeper 172.16.101.10:2181 --topic test
对分区数进行修改：./bin/kafka-topics.sh --zookeeper 172.16.101.10:2181 --alter --topic test --partitions 20（只能增加不能减少）
二.flume
启动：flume-ng agent -n producer -c conf -f ./flumetokafka.conf -Dflume.root.logger=INFO,console
三、hdfs
修改权限：hdfs dfs -chmod -R 777 文件路径