大数据——从Flume传输数据到Kafka并读取

最新推荐文章于 2025-04-25 10:09:47 发布
最新推荐文章于 2025-04-25 10:09:47 发布
阅读量1.7k 收藏 4
点赞数 1
文章标签： flume zookeeper 大数据 kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/dsjia2970727/article/details/110879453
版权

从Flume传输数据到Kafka并读取

从Flume传输数据到Kafka并读取

  • 创建八个队列信息
//users
[root@hadoop100 opt]# kafka-topics.sh --zookeeper 192.168.136.100:2181 --create --topic users --partitions 1 --replication-factor 1

//user_friends_raw
[root@hadoop100 opt]# kafka-topics.sh --zookeeper 192.168.136.100:2181 --create --topic user_friends_raw --partitions 1 --replication-factor 1

//user_friends
[root@hadoop100 opt]# kafka-topics.sh --zookeeper 192.168.136.100:2181 --create --topic user_friends --partitions 1 --replication-factor 1

//events
[root@hadoop100 opt]# kafka-topics.sh --zookeeper 192.168.136.100:2181 --create --topic events --partitions 1 --replication-factor 1

//event_attendees_raw
[root@hadoop100 opt]# kafka-topics.sh --zookeeper 192.168.136.100:2181 --create --topic event_attendees_raw --partitions 1 --replication-factor 1

//event_attendees
[root@hadoop100 opt]# kafka-topics.sh --zookeeper 192.168.136.100:2181 --create --topic event_attendees --partitions 1 --replication-factor 1

//train
[root@hadoop100 opt]# kafka-topics.sh --zookeeper 192.168.136.100:2181 --create --topic train --partitions 1 --replication-factor 1

//test
[root@hadoop100 opt]# kafka-topics.sh --zookeeper 192.168.136.100:2181 --create --topic test --partitions 1 --replication-factor 1
  • 查看一下队列
[root@hadoop100 ~]# kafka-topics.sh --zookeeper 192.168.136.100:2181 --list

在这里插入图片描述

user_friends_raw

  • 创建配置文件userFriend-flume-kafka.conf
userfriend.sources=userfriendSource
userfriend.channels=userfriendChannel
userfriend.sinks=userfriendSink

userfriend.sources.userfriendSource.type=spooldir
userfriend.sources.userfriendSource.spoolDir=/opt/flume160/conf/jobkb09/dataSourceFile/userfriend
userfriend.sources.userfriendSource.deserializer=LINE
userfriend.sources.userfriendSource.deserializer.maxLineLength=320000
userfriend.sources.userfriendSource.includePattern=userfriend_[0-9]{4}-[0-9]{2}-[0-9]{2}.csv
userfriend.sources.userfriendSource.interceptors=head_filter
userfriend.sources.userfriendSource.interceptors.head_filter.type=regex_filter
userfriend.sources.userfriendSource.interceptors.head_filter.regex=^user,friends*
userfriend.sources.userfriendSource.interceptors.head_filter.excludeEvents=true

userfriend.channels.userfriendChannel.type=file
userfriend.channels.userfriendChannel.checkpointDir=/opt/flume160/conf/jobkb09/cheakPointFile/userfriend
userfriend.channels.userfriendChannel.dataDirs=/opt/flume160/conf/jobkb09/dataChannelFile/userfriend

userfriend.sinks.userfriendSink.type=org.apache.flume.sink.kafka.KafkaSink
userfriend.sinks.userfriendSink.batchSize=640
userfriend.sinks.userfriendSink.brokerList=192.168.136.100:9092
userfriend.sinks.userfriendSink.topic=user_friends_raw

userfriend.sources.userfriendSource.channels=userfriendChannel
userfriend.sinks.userfriendSink.channel=userfriendChannel
  • 保存退出，启动flume
[root@hadoop100 flume160]# ./bin/flume-ng agent --name userfriend ./conf/ --conf-file ./conf/jobkb09/userFriend-flume-kafka.conf -Dflume.root.logger=INFO,console
  • 拷贝文件user_friends.csv文件
[root@hadoop100 tmp]# cp user_friends.csv /opt/flume160/conf/jobkb09/dataSourceFile/userfriend/userfriend_2020-12-08.csv
  • 进入kafka查询topic中的数据
[root@hadoop100 opt]# kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list 192.168.136.100:9092 --topic user_friends_raw --time -1 --offsets 1

在这里插入图片描述

  • 从消费者拉取数据
[root@hadoop100 ~]# kafka-console-consumer.sh --bootstrap-server 192.168.136.100:9092 --topic user_friends_raw --from-beginning

注意：数据量过大，谨慎拉取数据

users

  • 创建配置文件users-flume-kafka.conf
users.sources=usersSource
users.channels=usersChannel
users.sinks=usersSink

users.sources.usersSource.type=spooldir
users.sources.usersSource.spoolDir=/opt/flume160/conf/jobkb09/dataSourceFile/users
users.sources.usersSource.includePattern=users_[0-9]{4}-[0-9]{2}-[0-9]{2}.csv
users.sources.usersSource.deserializer=LINE
users.sources.usersSource.deserializer.maxLineLength=10000
users.sources.usersSource.interceptors=head_filter
users.sources.usersSource.interceptors.head_filter.type=regex_filter
users.sources.usersSource.interceptors.head_filter.regex=^user_id*
users.sources.usersSource.interceptors.head_filter.excludeEvents=true

users.channels.usersChannel.type=file
users.channels.usersChannel.checkpointDir=/opt/flume160/conf/jobkb09/cheakPointFile/users
users.channels.usersChannel.dataDirs=/opt/flume160/conf/jobkb09/dataChannelFile/users

users.sinks.usersSink.type=org.apache.flume.sink.kafka.KafkaSink
users.sinks.usersSink.batchSize=640
users.sinks.usersSink.brokerList=192.168.136.100:9092
users.sinks.usersSink.topic=users

users.sources.usersSource.channels=usersChannel
users.sinks.usersSink.channel=usersChannel
  • 保存退出，启动flume
[root@hadoop100 jobkb09]# flume-ng agent --name users /opt/flume160/conf/ --conf-file users-flume-kafka.conf -Dflume.root.logger=INFO,console
  • 拷贝文件users.csv文件
[root@hadoop100 tmp]# cp users.csv /opt/flume160/conf/jobkb09/dataSourceFile/users/users_2020-12-08.csv
  • 进入kafka中查询topic中的数据
[root@hadoop100 ~]# kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list 192.168.136.100:9092 --topic users --time -1 --offsets 1

在这里插入图片描述

events

  • 创建配置文件events-flume-kafka.conf
events.sources=eventsSource
events.channels=eventsChannel
events.sinks=eventsSink

events.sources.eventsSource.type=spooldir
events.sources.eventsSource.spoolDir=/opt/flume160/conf/jobkb09/dataSourceFile/events
events.sources.eventsSource.deserializer=LINE
events.sources.eventsSource.deserializer.maxLineLength=10000
events.sources.eventsSource.includePattern=events_[0-9]{4}-[0-9]{2}-[0-9]{2}.csv
events.sources.eventsSource.interceptors=head_filter
events.sources.eventsSource.interceptors.head_filter.type=regex_filter
events.sources.eventsSource.interceptors.head_filter.regex=^event_id*
events.sources.eventsSource.interceptors.head_filter.excludeEvents=true

events.channels.eventsChannel.type=file
events.channels.eventsChannel.checkpointDir=/opt/flume160/conf/jobkb09/cheakPointFile/events
events.channels.eventsChannel.dataDirs=/opt/flume160/conf/jobkb09/dataChannelFile/events

events.sinks.eventsSink.type=org.apache.flume.sink.kafka.KafkaSink
events.sinks.eventsSink.batchSize=640
events.sinks.eventsSink.brokerList=192.168.136.100:9092
events.sinks.eventsSink.topic=events

events.sources.eventsSource.channels=eventsChannel
events.sinks.eventsSink.channel=eventsChannel
  • 保存退出，启动flume
[root@hadoop100 flume160]# flume-ng agent --name events conf/ --conf-file conf/jobkb09/events-flume-kafka.conf -Dflume.root.logger=INFO,console
  • 拷贝文件events.csv文件
[root@hadoop100 tmp]# cp events.csv /opt/flume160/conf/jobkb09/dataSourceFile/events/events_2020-12-08.csv
  • 进入kafka中查询topic中的数据
[root@hadoop100 ~]# kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list 192.168.136.100:9092 --topic events --time -1 --offsets 1

在这里插入图片描述

event_attendees_raw

  • 创建配置文件event-flume-kafka.conf
event.sources=eventSource
event.channels=eventChannel
event.sinks=eventSink

event.sources.eventSource.type=spooldir
event.sources.eventSource.spoolDir=/opt/flume160/conf/jobkb09/dataSourceFile/event
event.sources.eventSource.includePattern=event_[0-9]{4}-[0-9]{2}-[0-9]{2}.csv
event.sources.eventSource.deserializer=LINE
event.sources.eventSource.deserializer.maxLineLength=10000
event.sources.eventSource.interceptors=head_filter
event.sources.eventSource.interceptors.head_filter.type=regex_filter
event.sources.eventSource.interceptors.head_filter.regex=^event*
event.sources.eventSource.interceptors.head_filter.excludeEvents=true

event.channels.eventChannel.type=file
event.channels.eventChannel.checkpointDir=/opt/flume160/conf/jobkb09/cheakPointFile/event
event.channels.eventChannel.dataDirs=/opt/flume160/conf/jobkb09/dataChannelFile/event

event.sinks.eventSink.type=org.apache.flume.sink.kafka.KafkaSink
event.sinks.eventSink.batchSize=640
event.sinks.eventSink.brokerList=192.168.136.100:9092
event.sinks.eventSink.topic=event_attendees_raw

event.sources.eventSource.channels=eventChannel
event.sinks.eventSink.channel=eventChannel
  • 保存退出，启动flume
[root@hadoop100 flume160]# flume-ng agent --n event -c conf/ -f conf/jobkb09/event-flume-kafka.conf -Dflume.root.logger=INFO,console
  • 拷贝event_attendees.csv文件
[root@hadoop100 tmp]# cp event_attendees.csv /opt/flume160/conf/jobkb09/dataSourceFile/event/event_2020-12-08.csv
  • 进入kafka中查询topic中的数据
[root@hadoop100 ~]# kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list 192.168.136.100:9092 --topic event_attendees_raw --time -1 --offsets 1

在这里插入图片描述

train

  • 创建配置文件train-flume-kafka.conf
train.sources=trainSource
train.channels=trainChannel
train.sinks=trainSink

train.sources.trainSource.type=spooldir
train.sources.trainSource.spoolDir=/opt/flume160/conf/jobkb09/dataSourceFile/train
train.sources.trainSource.includePattern=train_[0-9]{4}-[0-9]{2}-[0-9]{2}.csv
train.sources.trainSource.deserializer=LINE
train.sources.trainSource.deserializer.maxLineLength=10000
train.sources.trainSource.interceptors=head_filter
train.sources.trainSource.interceptors.head_filter.type=regex_filter
train.sources.trainSource.interceptors.head_filter.regex=^user*
train.sources.trainSource.interceptors.head_filter.excludeEvents=true

train.channels.trainChannel.type=file
train.channels.trainChannel.checkpointDir=/opt/flume160/conf/jobkb09/cheakPointFile/train
train.channels.trainChannel.dataDirs=/opt/flume160/conf/jobkb09/dataChannelFile/train

train.sinks.trainSink.type=org.apache.flume.sink.kafka.KafkaSink
train.sinks.trainSink.batchSize=640
train.sinks.trainSink.brokerList=192.168.136.100:9092
train.sinks.trainSink.topic=train

train.sources.trainSource.channels=trainChannel
train.sinks.trainSink.channel=trainChannel
  • 保存退出，启动flume
[root@hadoop100 flume160]# flume-ng agent --name train --conf conf/ --conf-file conf/jobkb09/train-flume-kafka.conf -Dflume.root.logger=INFO,console
  • 拷贝train.csvwe文件
[root@hadoop100 tmp]# cp train.csv /opt/flume160/conf/jobkb09/dataSourceFile/train/train_2020-12-08.csv
  • 进入kafka中出查询topic中的数据
[root@hadoop100 ~]# kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list 192.168.136.100:9092 --topic train --time -1 --offsets 1

在这里插入图片描述

test

  • 创建配置文件test-flume-kafka.conf
test.sources=testSource
test.channels=testChannel
test.sinks=testSink

test.sources.testSource.type=spooldir
test.sources.testSource.spoolDir=/opt/flume160/conf/jobkb09/dataSourceFile/test
test.sources.testSource.includePattern=test_[0-9]{4}-[0-9]{2}-[0-9]{2}.csv
test.sources.testSource.deserializer=LINE
test.sources.testSource.deserializer.maxLineLength=10000
test.sources.testSource.interceptors=head_filter
test.sources.testSource.interceptors.head_filter.type=regex_filter
test.sources.testSource.interceptors.head_filter.regex=^user*
test.sources.testSource.interceptors.head_filter.excludeEvents=true

test.channels.testChannel.type=file
test.channels.testChannel.checkpointDir=/opt/flume160/conf/jobkb09/cheakPointFile/test
test.channels.testChannel.dataDirs=/opt/flume160/conf/jobkb09/dataChannelFile/test

test.sinks.testSink.type=org.apache.flume.sink.kafka.KafkaSink
test.sinks.testSink.batchSize=640
test.sinks.testSink.brokerList=192.168.136.100:9092
test.sinks.testSink.topic=test

test.sources.testSource.channels=testChannel
test.sinks.testSink.channel=testChannel
  • 保存退出，启动flume
[root@hadoop100 flume160]# flume-ng agent --n test -c conf/ -f conf/jobkb09/test-flume-kafka.conf -Dflume.root.logger=INFO,console
  • 拷贝test.csv文件
[root@hadoop100 tmp]# cp test.csv /opt/flume160/conf/jobkb09/dataSourceFile/test/test_2020-12-08.csv
  • 进入kafka查询topic中的数据
[root@hadoop100 ~]# kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list       192.168.136.100:9092 --topic test --time -1 --offsets 1

在这里插入图片描述

大数据ETL工具比较：Sqoop vs Flume vs Kafka
AI天才研究院
04-22 934
随着企业数字化转型加速，数据规模呈指数级增长，数据来源从传统关系型数据库扩展到日志、IoT传感器、用户行为等多模态场景。ETL作为数据管道的核心组件，其工具选择直接影响数据处理的效率与可靠性。本文聚焦大数据领域最常用的三款ETL工具——Sqoop、Flume、Kafka，系统对比其技术特性、适用场景及最佳实践，覆盖从基础概念到实战落地的全流程。第2章解析核心概念与架构，通过Mermaid图可视化三者的技术架构；第3章深入算法原理，结合代码示例说明关键机制；
Flume采集数据到Kafka,然后从kafka取数据存储到HDFS的方法思路和完整步骤
03-08
自己研究大数据多年，写的一个日志数据采集方案笔记，可快速熟悉Flume，Kafka，Hdfs的操作使用，以及相互的操作接口。
flume 读取kafka 数据
滴水穿石
07-18 1万+
flume 读取kafka数据
Kafka和flume整合
最新发布
2401_89806604的博客
04-25 1433
需求2：Kafka生产者生成的数据利用Flume进行采集，将采集到的数据打印到Flume的控制台上。# 将 Flume Source 设置为 Kafka 消费者，从指定 Kafka 主题拉取数据。# 将 Flume 传输的数据内容直接打印到日志中，# 配置 Sink（写入 Kafka）# 配置 Channel（内存缓冲）# 配置 Channel（内存缓冲）# 配置 Source（监控目录）#指定写入数据到哪一个topic。# 定义 Agent 组件。#指定写入数据到哪一个集群。#指定生成消息的topic。
flume读取文件到kafka
欢迎大神交流讨论
11-10 1876
1.进入flume官网 www.org.apache.flume.com 点击第三个 2.使用kafka前需要先开启zookeeper 3.编写配置文件 读文件首先最好去头 写好配置文件 user.channels = c1 user.sources = s1 user.sinks = k1 user.sources.s1.type = spooldir user.sources.s1.spoolDir = /opt/mydate/users/ user.sources.s1....
flume从kafka中读取数据
weixin_30492047的博客
10-09 546
a1.sources = r1 a1.sinks = k1 a1.channels = c1 #使用内置kafka source a1.sources.r1.type = org.apache.flume.source.kafka.KafkaSource #kafka连接的zookeeper a1.sources.r1.zookeeperConnect = localhost...
Flume采集数据到Kafka操作详解
雷神乐乐的博客
04-21 4185
Flume采集数据到Kafka操作详解
Flume实操指南与从Kafka拉取数据到HDFS
weixin_42147245的博客
06-07 1960
1. Flume简介     Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。     本文主要介绍Flume的实际操作，因此不对其原理和细节进行更多介绍，对于Flume的相关介绍可以参考以下文章： 分布式日志收集系统 —— Flume Flu
大数据 | 数据采集与输入核心技术与应用深度解析，Flume/ NiFi/ Kafka/ Sqoop/ Denodo区别与结合
Denodo的博客
12-18 2037
本篇文章将深入分析几种主要的大数据采集工具——Kafka、Flume、Sqoop 和 NiFi——并探讨它们之间的关系和区别，以及数据集成工具Denodo的结合应用。
大数据工具——Flume
m0_45993982的博客
05-10 299
一、Flume概念 1.Flume介绍 1、是一个分布式、可靠的、高可用的日志数据采集框架 2、具有数据流的体系结构 3、具有可调整的可靠性和容错性 4、是Hadoop生态中的一个组件 2.Flume设计 1、Flume的最小运行单元是Agent，三大组件：Source，channel，Sink 2、Flume在运行Agent时候，会占用JVM 3、Flume组件 Source：作用是与数据源进行交互，采集数据，封装成Event，传给Channel Event：采集的数据，对数据封装的对象，Event的
大数据之路——flume（1.9.0官网学习）
wy888882的博客
04-22 954
Flume简介 Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。2011 年 10 月 22 号，cloudera 完成了 Flume-728，对 Flume 进行了里程碑式的改动：重构核心组件、核心配置以及代码架构，重构后的版本统称为 Flume NG（next generation）；改动的另一原因是将 Flume 纳...
如何使用Python读写Kafka？
muzico425的博客
03-03 870
关于Kafka的第三篇文章，我们来讲讲如何使用Python读写Kafka。这一篇文章里面，我们要使用的一个第三方库叫做kafka-python。大家可以使用pip或者pipenv安装它。...
Flume从Kafka读取数据，并写入到Hdfs上
王凯凯之猿的博客
05-17 8765
需求：kafka有五个主题  topic topic-app-startuptopic topic-app-errortopic topic-app-eventtopic topic-app-usagetopic topic-app-pageflume读取Kafka 5个主题数据，并将数据写入到hdfs上，按照主题、年月日建立文件夹以及文件如下,每天新建五个文件夹，并将主题上的数据写入到对应的文件...
kafka来读取flume的数据
weixin_41876523的博客
05-24 2437
一、查看kafka topic ./kafka-topics.sh --list --zookeeper  bigdata-test-3:2181, bigdata-test-2:2181, bigdata-test-1:2181, bigdata-test-4:2181, bigdata-test-5:2181./kafka-topics.sh  --delete  --zookeeper bi...
大数据系列（五）之 Flume 数据传输
古小龙
10-11 3710
目录 一、Flume简介 二、Flume架构 2.1 Flume基本组件 2.2 Flume常见数据流模型 三、Source，Channel，Sink 详解 3.1 Source 3.2 Channel 3.3 Sink 四、小结 本文仅用于学习记录总结所用，配置方面有大量参考官方文档，以方便查阅，不喜勿喷。 Flume可以说是配置型框架，通过简单的配置实现数据的收集和发送，...
Flume对接Kafka详细过程
热门推荐
Hello World
01-04 1万+
一、为什么要集成Flume和Kafka 一般使用Flume+Kafka架构都是希望完成实时流式的日志处理，后面再连接上Storm/Spark Streaming等流式实时处理技术，从而完成日志实时解析的目标。如果Flume直接对接实时计算框架，当数据采集速度大于数据处理速度，很容易发生数据堆积或者数据丢失，而kafka可以当做一个消息缓存队列，从广义上理解，把它当做一个数据库，可以存放一段时间的数据。 因此数据从数据源到flume再到Kafka时，数据一方面可以同步到HDFS做离线计算，另一方面可以做实时计
windows系统flume数据传给kafka
m0_37847641的博客
07-18 1305
1、安装zookeeper 更改flume配置为kafka # Describe the sink # a1.sinks.k1.type = logger  # 指定Flume sink a1.sinks.k1.channel = c1 a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink a1.sinks.k1.kafka.topi...
安装Kafka与Flume实现数据流传输
WdzDevops的博客
09-19 91
Kafka和Flume是两个广泛应用于大数据处理的开源工具。Kafka是一个高吞吐量的分布式消息队列系统，用于处理实时的数据流。而Flume是一个可靠、可扩展的分布式日志收集和聚合系统。结合使用Kafka和Flume可以实现可靠的数据流传输和处理。本文将介绍如何安装和配置Kafka和Flume，并展示如何使用它们进行数据流传输。
flume传递数据到kafka与Java进行数据处理传回kafka
m0_64416846的博客
04-13 941
1，首先分析下数据需不需要分区处理，需不需要考虑顺序，如果不需要考虑顺序则可以选择分区，如果数据的原本顺序很重要则不能使用分区 2，将数据先上传到linux上，比如我这里有个users.csv，event_attendees.csv文件分别在/opt/study/data/users和/opt/study/data/event_attendees文件夹下 3，创建一个消息队列,取名users，设定三个分区 kafka-topics.sh --create --zookeeper 192.168.88
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值