java程序生产数据——flume收集数据——kafka消费数据

最新推荐文章于 2024-09-03 14:29:00 发布

原创

最新推荐文章于 2024-09-03 14:29:00 发布 · 860 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#flume #kafka

本文介绍了如何使用Java程序生产数据，并通过Flume收集，然后由Kafka进行消费。首先，通过IDEA或Eclipse打包Java程序生成jar文件，运行jar包开始生产数据。接着配置Flume的flume.conf文件，设置监控数据文件并连接到Kafka的broker。最后启动Flume代理和Kafka服务器，创建Kafka topic并启动消费者监听数据。

1.将java程序打成jar包
idea在maven project 处双击 package，就会在target下产生jar包

ecplice在自己的项目上点击Run as 点击maven build 产生的jar包在target下

启动jar包开始生产数据
java -cp /home/hadoop/data/hadoopProject-1.0-SNAPSHOT.jar com.qf.phone.PhoneData   /home/hadoop/data/didi.txt
2.flume安装及设置
在flume目录下创建job目录并在其下创建flume.conf
vi flume.conf并写入以下内容：
agent.sources= s1
agent.channels= c1
agent.sinks= k1

agent.sources.s1.type=exec
#设置flume要监控的目录
agent.sources.s1.command= tail -F /home