flume

最新推荐文章于 2024-11-10 20:42:56 发布

原创最新推荐文章于 2024-11-10 20:42:56 发布 · 179 阅读

0 ·

CC 4.0 BY-SA版权

bigdata 专栏收录该内容

7 篇文章

订阅专栏

本文介绍了Flume的数据采集基础知识，包括Flume的基本结构、特性及其安装步骤。详细讲解了通过Netcat源进行数据采集的配置过程，并提供了启动Flume Agent的具体命令。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

flume event简介：
这里写图片描述

flume –> source : source的种类
这里写图片描述
最常见的就是taildrr source 和kafka source。

flume channel :
这里写图片描述

flume sink
这里写图片描述

flume 基本结构：
这里写图片描述

flume 特性：
这里写图片描述
1：下载flume: wget http://www.apache.org/dyn/closer.lua/flume/1.8.0/apache-flume-1.8.0-bin.tar.gz
2：解压 :tar -zxf
3: 重命名 : mv
4: 启动命令：bin/flume-ng agent –conf conf –conf-file conf/flume-conf.properties –name agent

一：netcat 方式启动，控制台打印
flume-conf-netsrc.properties配置

agent.sources = netSrc
agent.channels = memoryChannel
agent.sources.netSrc.type = netcat
agent.sources.netSrc.bind = 0.0.0.0
agent.sources.netSrc.port = 30966
agent.sources.netSrc.channels = memoryChannel

启动命令：./bin/flume-ng agent --conf conf --conf-file conf/flume-conf-netsrc.properties --name agent -Dflume.root.logger=INFO,console
使用telnet 命令： telnet localhost 30966返回窗口查看，
这里写图片描述