flume导入文件到Kafka

最新推荐文章于 2024-05-28 09:37:18 发布
原创 最新推荐文章于 2024-05-28 09:37:18 发布 · 1.1k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#flume #kafka #大数据

本文档详细介绍了如何使用Flume将文件从指定目录导入到Kafka主题中。首先通过kafka-topics.sh创建新的Kafka主题，然后配置Flume agent，设置监听目录、拦截器和sink，确保数据能正确流入Kafka。最后，启动Kafka消费者查看导入的数据。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

flume导入文件到Kafka

创建新主题存放此次消息

kafka-topics.sh --create --zookeeper 192.168.153.133:2181 --topic train_row --partitions 1 --replication-factor 1

配置flume文件，执行

flume-ng agent --name events --conf /opt/soft/flume160/conf/ --conf-file  /opt/soft/flume160/conf/kb15conf/train.conf  -Dflume.root.logger=INFO,console

train.conf

events.sources=eventsSource

events.channels=eventsChannel

events.sinks=eventsSink

events.sources.eventsSource.type=spooldir

#监听目录，该目录下出现新文件，符合匹配条件可以持续监听

events.sources.eventsSource.spoolDir=/opt/kb15tmp/flumelogfile/train

events.sources.eventsSource.deserializer=LINE

#每行最大长度

events.sources.eventsSource.deserializer.maxLineLength=320000

#匹配条件

events.sources.eventsSource.includePattern=train_[0-9]{4}-[0-9]{2}-[0-9]{2}.csv

#去除头文件

events.sources.eventsSource.interceptors.head_filter.type=regex_filter

events.sources.eventsSource.interceptors.head_filter.regex=^User*

events.sources.eventsSource.interceptors.head_filter.excludeEvents=true

events.channels.eventsChannel.type=file

events.channels.eventsChannel.checkpointDir=/opt/kb15tmp/checkpoint/train

events.channels.eventsChannel.dataDirs=/opt/kb15tmp/checkpoint/data/train

#读取到kafka主题

events.sinks.eventsSink.type=org.apache.flume.sink.kafka.KafkaSink

events.sinks.eventsSink.batchSize=640

events.sinks.eventsSink.brokerList=192.168.153.133:9092

events.sinks.eventsSink.topic=train_row

events.sources.eventsSource.channels=eventsChannel

events.sinks.eventsSink.channel=eventsChannel

创建消费者

kafka-console-consumer.sh --bootstrap-server chen133:9092 --topic train_row --from-beginning

数据存入Kafka

flume系列之：flume消费kafka数据到HDFS生产参数配置
zhengzaifeidelushang的博客
01-05 1434
flume系列之：flume生产参数配置 # source, channel and sink statement flume_prod.sources = source1 flume_prod.channels = channel1 flume_prod.sinks = sink1 # link source to sink via channel flume_prod.sources.source1.channels = channel1 flume_prod.sinks.sink1.channel
Flume-Kafka
最新发布
NJH00的博客
10-11 834
其中包括 Source‌、Channel、Sink‌‌。‌：源和接收器之前的管道，接收 Source 的数据转发给 Sink，临时数据存储。从 Channel 中读取数据，并存入外部存储系统或转发到下一个Source‌‌。是一个高可用、高可靠、分布式的海量日志采集、聚合和传输的系统。每个文件只读取一遍，读取完成文件后缀增加标识。‌：一个JVM进程，以事件的形式将数据从源头传输到目的地。‌：数据收集组件，读取外部数据存储到Channel。
windows系统flume数据传给kafka
m0_37847641的博客
07-18 1312
1、安装zookeeper 更改flume配置为kafka # Describe the sink # a1.sinks.k1.type = logger  # 指定Flume sink a1.sinks.k1.channel = c1 a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink a1.sinks.k1.kafka.topi...
本地文件到通过flume到kafka
weixin_34351321的博客
01-13 162
配置文件 cd /usr/app/flume1.6/conf vi flume-dirKakfa.properties #agent1 name agent1.sources=source1 agent1.sinks=sink1 agent1.channels=channel1 #Spooling Directory #set source1 agent1.sources.source1.ty...
大数据学习笔记：Flume导数据至Kafka
cauwt的博客
10-16 1720
一、任务描述：将本地目录~/testdata/logs.件夹下的所有.本.件通过Kafka Sink写入Kafka中的flume topic（topic名称为：flume-topic）  数据流 ~/testdata/logs -> flume -> kafka   二、版本信息： flume:1.7.0 zookeeper:3.4.5 kafka:2.10-0.10.1.1 节点数：3 三、相关
使用flume将本地数据导入kafka
xiaoxionghanhan的博客
12-08 372
文章目录创建topicflume操作使用kafka命令验证 创建topic [root@hadoop1 kafka]# kafka-topics.sh --zookeeper hadoop1:2181 --create --topic users --partitions 1 --replication-factor 1 Created topic "users". flume操作 创建所需文件夹 [root@hadoop1 jobkb09]# mkdir dataSourceFile [root@had
使用flume收集文件数据传输至kafka
beyond丿灬的博客
06-13 640
不做过多介绍 直接实现目的 kafka和flume的包就自行百度即可,kafka的安装教程:https://blog.youkuaiyun.com/qq_41594146/article/details/100153434 flume的话直接下载后解压即可用 直接上解释的配置文件: #agent name :a1 #给代理取的名字 a1.sources = r1 #sources认定下方带r1 a1.sinks = k1 #理解同上 a1.channels = c1 #理解同上...
文件通过flume导入到kafka
hetry_liang的博客
12-10 2063
一、数据准备 现在本地有一个users.csv文件，需要将其数据通过flume导入到kafka中 注意：该表格是有表头的，数据通过flume导入到kafka中是需要通过拦截器过滤掉表头。 二、数据导入 首先在Linux下面创建一个文件flume1.properties,编辑该文件 //a1:agent //flume三大组件 source、channel、sink a1.sources=f1 a1.channels=c1 a1.sinks=k1 //文件监听器 a1.sources.f
使用flume将csv文件导入到kafka主题（超简单）
weixin_48482704的博客
03-30 2460
1.首先启动zookeeper和kafka服务 [root@dw data]# zkServer.sh start [root@dw data]# kafka-server-start.sh /opt/software/kafka211/config/server.properties 2.查看csv文件的信息 (1)文件是否有表头 [root@dw data]# cat event_attendees.csv|head -1 event,yes,maybe,invited,no 可以看出，文件是有
kafka 和flume对接
专注Java（全栈）应用开发，求知若渴，虚心若愚，talk is cheap, show me the code.
05-28 1293
Kafka Sink 提供了可靠的方式将数据写入 Kafka，支持批量写入、分区和副本的配置，确保数据的可靠性和一致性。保证数据的顺序性：可以使用 Kafka 的分区机制来控制数据的顺序，确保相同 key 的数据被写入到同一个 partition 中，保证数据的顺序性。Kafka Sink 会负责将数据写入指定的 topic，根据配置的 partition 和副本策略，将数据分布到 Kafka 集群中的不同节点上。您需要提供目标的相关配置，如HDFS的文件路径、HBase的表名称等。
使用flume将csv文件写入到Kafka中
qq_40333693的博客
01-13 1632
源数据文件：https://pan.baidu.com/s/1UiM8qmYY8MFKJaSLwIlPqQ 提取码：apk6 1.在flume的conf目录下创建jobkb09目录：mkdir /opt/flume160/conf/jobkb09 2.进入jobkb09目录，在其中创建tmp目录，并将源数据文件均放入其中 3.创建Kafka topic： events ： kafka-topics.sh --create --zookeeper 192.168.134.104:2181 --topic ev
Flume配置文件kafkaSource
08-07
Flume配置文件kafkaSource 包含Intercepter,包含正则表达式。
Flume采集数据到Kafka,然后从kafka取数据存储到HDFS的方法思路和完整步骤
03-08
自己研究大数据多年，写的一个日志数据采集方案笔记，可快速熟悉Flume，Kafka，Hdfs的操作使用，以及相互的操作接口。
Flume监控文件并将数据输入至Kafka
优质后端技术知识记录
12-09 871
Flume配置文件 a1.sources = r1 a1.sinks = k1 a1.channels = c1 a1.sources.r1.type = exec a1.sources.r1.bind = tail -F /usr/local/hive.log a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink a1.si...
flume 写入文件服务器,Flume架构及使用例子
weixin_29696999的博客
07-31 282
Flume架构及核心组件(1)Source 收集 负责从什么地方采集数据(2)Channel 记录(3)Sink 输出官方文档Flume使用思路使用flume的关键就是写配置文件(1)配置Source(2)配置Channerl(3)配置Sink(4)把以上三个组件串起来样例样例1：从指定网络端口采集数据输出到控制台代码实现：# example.conf: A single-node Flume c...
初阶Flume之Flume读取文件传入kafka
wx740851326的博客
09-14 575
二话不说，上配置文件 exec-memory-avro.conf exec-memory-avro.sources = exec-source exec-memory-avro.sinks = avro-sink exec-memory-avro.channels = memory-channel exec-memory-avro.sources.exec-source.type = ex...
flume实现监控文件，并将文件内容传入kafka的，kafka在控制台实现消费
破碎琉璃为哪般
12-08 1205
等flume监控端口写完在写
大数据-Flume(一)：日志收集系统【将应用产生的日志数据发送到Kafka/HDFS/HBase】【Source(上游)--Channel(缓冲区)--＞Sink(下游)】【基于CentOS6】
u013250861的博客
01-12 1949
一、Flume安装 1、在hadoop102服务器上安装 2、将Flume目录、环境变量文件分发到hadoop101、hadoop103上 二、编写Agent的配置文件 三、Flume的使用 1、Agent01(netcatsource)：监听某个tcp端口手动的数据，然后将数据输出到控制台 1.1 Agent01配置文件：netcatsource-loggersink.conf 1.2 启动 Agent01 2、Agent02(execsource)：实时监控单个本机文件的内容，将内容写入到HDFS 2.
flume从文本中读取文件到kafka
qq_35008624的博客
10-18 941
需求： 监听日志文件的末尾内容变动则把内容发到kafka. 步骤： 1、配置flume的配置文件 flume2kafka.conf # Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source a1.sources.r1.type = exec a1.sources.r1.command = tail -f /opt/m..
Flume-NG与Kafka结合实现Oracle实时数据抽取
这些文件共同构成了flume-ng-sql-source的功能，使其可以在Flume框架中实现从SQL数据库抽取数据到Kafka的流程。 ### 总结 Flume-ng作为日志数据处理的重要组件，与SQL数据库的集成是其强大功能之一。Flume-ng的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

s_schen

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值