2020年3月6日——log4j-flume-kafka-sparkstreaming-优快云博客

本文链接：https://blog.youkuaiyun.com/qq_38191971/article/details/104707300

本文详细介绍了如何使用Flume收集数据并将其发送到Kafka，包括启动Flume和Kafka服务、创建和查看Kafka主题以及消费Kafka消息的完整过程。此外，还提供了如何使用Spark Streaming处理Kafka数据的示例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一切就绪：
关键步骤：

#启动flume
flume-ng agent \
--conf $FLUME_HOME/conf \
--conf-file $FLUME_HOME/conf/streaming2.conf \
--name agent1 \
-Dflume.root.logger=INFO,console

#zookeeper启动
cd /usr/local/kafka
bin/zookeeper-server-start.sh config/zookeeper.properties

#kafka启动
cd /usr/local/kafka
./bin/kafka-server-start.sh config/server.properties

#kafka创建topic:zk
cd /usr/local/kafka
./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic streamingtopic

#kafka查看topic
cd /usr/local/kafka
./bin/kafka-topics.sh --list --zookeeper localhost:2181

#消费消息:zk
cd /usr/local/kafka
./bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic streamingtopic --from-beginning

打包之后放入用户主目录，然后执行

spark-submit --class org.apache.spark.examples.streaming.KafkaReceiverWordCount --master local[*]   /home/hadoop/example-1.0.jar localhost:2181 test streamingtopic 1

启动idea的LoggerGenerator和KafkaStreamingApp