大数据环境（单机版） Flume传输数据到Kafka

原创

已于 2025-03-05 14:56:03 修改 · 702 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#大数据 #flume #kafka #数据采集

于 2025-03-05 14:38:13 首次发布

文章目录

前言
一、准备
二、安装
三、配置环境变量
四、修改配置
- 4.1、kafka配置
- 4.2、Flume配置
五、启动程序
六、测试
- 6.1、启动一个kafka终端，用来消费消息
- 6.2、写入日志
其他

前言

flume监控指定目录，传输数据到kafka

一、准备

flume-1.10.1
kafka_2.11-2.4.1
zookeeper-3.4.13

二、安装

使用命令 tar -zxf 分别解压到指定目录

三、配置环境变量

vi ~/.bash_profile

export FLUME_HOME=/home/hadoop/install/flume-1.10.1
export PATH=$FLUME_HOME/bin:$PATH

export ZOOKEEPER_HOME=/home/hadoop/install/zookeeper-3.4.13
export PATH=$ZOOKEEPER_HOME/bin:

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

凡许真

关注关注

5
点赞
踩
4

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Flume采集数据到Kafka,然后从kafka取数据存储到HDFS的方法思路和完整步骤

03-08

自己研究大数据多年，写的一个日志数据采集方案笔记，可快速熟悉Flume，Kafka，Hdfs的操作使用，以及相互的操作接口。

kafka学习之监控与flume对接

weixin_44178366的博客

10-14

618

kafka学习之监控与对接flume kafka和flume的对接 kafkaSource,kafkaSink,kafkaChannel组件描述 1) KafkaSource 用于从kafka中读取数据. KafkaSource对于flume来讲是一个source的角色. 对于Kafka来讲，是一个消费者的角色. 2) KafkaSink 用于往Kafka中写数据 KafkaSink对于flume来讲是一个sink的角色,对于kafka来讲，是一个生产者的角色. 3

参与评论您还未登录，请先登录后发表或查看评论

Flume对接Kafka详细过程

热门推荐

01-04

1万+

一、为什么要集成Flume和Kafka 一般使用Flume+Kafka架构都是希望完成实时流式的日志处理，后面再连接上Storm/Spark Streaming等流式实时处理技术，从而完成日志实时解析的目标。如果Flume直接对接实时计算框架，当数据采集速度大于数据处理速度，很容易发生数据堆积或者数据丢失，而kafka可以当做一个消息缓存队列，从广义上理解，把它当做一个数据库，可以存放一段时间的数据。因此数据从数据源到flume再到Kafka时，数据一方面可以同步到HDFS做离线计算，另一方面可以做实时计

flume读取文件传到kafka

Xiayebuliang的博客

04-27

914

每个配置conf文件配对相应的文件，这里拿events.conf举例。在/opt/soft/flume190目录下启动以下命令。传输到指定文件后，kafka消费者就会读取到对应的文件。注意：副本数不能大于broker数。出现以下图片则启动成功。

Flume与Kafka对接

wjt199866的博客

09-08

3224

引言 flume为什么要与kafka对接？我们都知道flume可以跨节点进行数据的传输，那么flume与spark streaming对接不好吗？主要是flume对接到kafka的topic，可以给多个consumer group去生成多条业务线。虽然flume中的channel selector中的副本策略也可以做多给多个sink传输数据，但是每个channel selector都是很消耗资源的。文章目录一、flume采集的数据发往一个topic二、flume采集的数据发往多个topic总结 .

flume传递数据到kafka与Java进行数据处理传回kafka

m0_64416846的博客

04-13

975

1，首先分析下数据需不需要分区处理，需不需要考虑顺序，如果不需要考虑顺序则可以选择分区，如果数据的原本顺序很重要则不能使用分区 2，将数据先上传到linux上，比如我这里有个users.csv，event_attendees.csv文件分别在/opt/study/data/users和/opt/study/data/event_attendees文件夹下 3，创建一个消息队列,取名users，设定三个分区 kafka-topics.sh --create --zookeeper 192.168.88

Flume实操指南与从Kafka拉取数据到HDFS

weixin_42147245的博客

06-07

2002

1. Flume简介 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。本文主要介绍Flume的实际操作，因此不对其原理和细节进行更多介绍，对于Flume的相关介绍可以参考以下文章：分布式日志收集系统 —— Flume Flu

Flume+Kafka+Spark Streaming+MySQL实时数据处理

u014552259的博客

06-06

5097

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 ...

flume集群高可用连接kafka集群

pysense的博客

12-05

1933

文章目录前言1、在kafka集群上创建相应的topic2、单节点配置flume的agent sink为sink2.1 配置flume 文件2.2 测试数据消费情况3 、flume NG集群连接kafka集群前言在前面blog文章中：《在hadoopHA节点上部署flume高可用组件》和《在hadoopHA节点上部署kafka集群组件》，已经实现大数据实时数据流传输两大组件的部署和测试，本文...

Hadoop生态架构之kafka基本操作以及集成flume

qq_28286027的博客

01-11

411

1.kafka基本理论知识 1、定位：分布式的消息队列系统，同时提供数据分布式缓存功能（默认7天） 2、消息持久化到磁盘，达到O(1)访问速度，预读和后写，对磁盘的顺序访问（比内存访问还要快） 3、Storm（分布式的实时计算框架） Kafka目标成为队列平台 4、基本组件： Broker：每一台机器是一个Broker Producer：日志消息生产者，主要写数据 Consumer：日志消息消费者...

flume采集mysql日志数据发送到kafka

qq_35515283的博客

08-04

1666

我这里需要采集mysql的日志如二进制日志、通用查询日志、慢查询日志、错误日志等，使用flume能很方便的将其采集到kafka的topic中，而且能解决其中有些日志充斥大量换行等符号所导致的清洗难题。通过自定义select查询语句去为mysql日志进行结构化改造，相对网上别的办法这样做比较便捷。我这里想要采集mysql日志所以需要第一步，若只是想采集mysql数据库表，就直接从第二步开始配就行了，首先mysql、flume、kafka安装我就略过了。...

Flume传输数据给Kafka

普通Gopher

09-18

2342

Flume Flume是一个海量日志采集、聚合和传输的日志收集系统。 Kafka是一个可持久化的分布式的消息队列。由于采集和处理数据的速度不一定同步，所以使用Kafka这个消息中间件来缓冲，如果你收集了日志后，想输出到多个业务方也可结合Kafka，Kafka支持多个业务来读取数据。上图中Kafka生产的数据，是由Flume提供的，这里我们需要用到Flume集群，通过Flume集群将Agent的...

读取topic，查看有哪些topic，删除topic,创建topic生产者

weixin_45762425的博客

12-13

1777

kafka-console-consumer --bootstrap-server localhost:9092 --topic three --from-beginning kafka-topics --list --zookeeper localhost:2181

flume传输数据给kafka

959

04-19

1217

kafka入门安装使用 flume连接kafka以及kafka API

weixin_42487460的博客

08-10

468

kafka入门为什么使用消息中间件（MQ）消息中间件中的术语Apache Kafkakafka安装flume连接导入单分区数据量大是使用多分区提高效率kafka Producer/Consumer API 为什么使用消息中间件（MQ）异步调用同步变异步应用解耦提供基于数据的接口层流量削峰缓解瞬时高流量压力消息中间件中的术语 Broker：消息服务器，提供核心服务 Producer：消息生产者 Consumer：消息消费者 Topic：主题，发布订阅模式下的消息统一

Flume 与 Kafka 整合连接

whywww的博客

03-23

1687

Flume从一个java程序接受随机生成的数据，并传至kafka，java程序通过http协议连接flume 把flume安装目录下的配置文件复制一份到任意路径如：/home/hadoop/flume.conf 进入文件修改： vi /home/hadoop/flume.conf # Define a memory channel called ch1 on agent1 agent.cha...

Flume实时采集日志数据写入到Kafka

weixin_44455388的博客

11-01

1万+

一、为flume构建agent 先进去flume下的配文件夹里面 (此处我的配置文件夹名字为：myconf) 编写构建agent的配置文件（命名为：flume2kafka.conf） flume2kafka.conf # 定义这个agent中各组件的名字 a1.sources = r1 a1.sinks = k1 a1.channels = c1 # 描述和配置source组件：r1 a1...

linux集成 kafka数据通过flume发送到hadoop

if(true){ I love it }

05-23

4182

上一篇文章《 linux安装flume和集成kafka测试》，我们介绍了flume安装和集成数据到kafka，本篇文章我们将集成kafka,flume,hadoop，通过flume发送kafka数据到hadoop的hdfs文件。一.前期准备 1.1 hadoop安装版本：Hadoop 2.6.5 安装： linux hadoop完全分布式集群搭建图文详解 1.2 zookeeper安装版本：zookeeper-3.4.9 安装： linux zookeeper3.4.9集群搭建图文详解 1.3

flume模拟客户端数据发送到kafka消费者

weixin_43698185的博客

10-30

563

1、首先在3台服务器上启动zookeeper 2、启动3台服务器上的kafka-server 3、编写flume数据发送给kafka的配置文件再flume的conf下编写一个fktest.conf a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source # 和kafka之间通信的协议...

大数据集群环境搭建与Hadoop生态体系详解

综上所述，《大数据集群环境搭建介绍》这一资源系统性地讲解了从理论到实践的全过程，涵盖了大数据生态体系的核心组件、主流集群管理工具、常见发行版特点、基础环境配置要点以及典型部署流程。通过学习该内容，技术...