【大数据实战】flume 数据采集

已于 2022-04-10 20:05:11 修改
阅读量5.7k 收藏 32
点赞数 2
分类专栏： 大数据 文章标签： 大数据 flume 数据获取
于 2022-04-07 15:49:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_15604349/article/details/124018634
版权

目录

flume

在这里插入图片描述

快速开始

概述

Apache Flume 是一个分布式、可靠且可用的系统，用于有效地收集、聚合来自许多不同来源的大量日志数据并将其移动到集中式数据存储。

Apache Flume 的使用不仅限于日志数据聚合。由于数据源是可定制的，Flume 可用于传输大量事件数据，包括但不限于网络流量数据、社交媒体生成的数据、电子邮件消息和几乎任何可能的数据源。

通常将Web服务器收集日志文件，然后传递到HDFS进一步处理。

系统要求
  1. Java 运行时环境 - Java 1.8 或更高版本
数据流模型

在这里插入图片描述

Flume 的核心是把数据从数据源(source)收集过来，再将收集到的数据送到指定的目的地(sink)。为了保证输送的过程一定成功，在送到目的地(sink)之前，会先缓存数据(channel),待数据真正到达目的地(sink)后，flume 在删除自己缓存的数据。

flume传输的数据的基本单位是 event

flume代理是agent，agent是一个java进程，运行在日志收集节点。

每一个 agent 相当于一个数据传递员，内部有三个组件：

  • Source：采集源，用于跟数据源对接，以获取数据；
  • Sink：目的地，采集数据的传送目的，用于往下一级 agent 传递数据或者往最终存储系统传递数据；
  • Channel：通道，agent 内部的数据传输通道，用于从 source 将数据传递到 sink；

Flume由一组分布式互相连接的代理构成，系统边缘（与web服务器共存一台）的代理负责收集日志，并把数据转发给负责汇总的代理。使用Flume主要工作就是把各个代理连接在一起。

安装
$ wget https://archive.apache.org/dist/flume/stable/apache-flume-1.9.0-bin.tar.gz
$ tar -zxvf apache-flume-1.9.0-bin.tar.gz
# 验证
$ bin/flume-ng version
Flume 1.9.0
一个简单的例子

接收telnet 终端消息到控制台。

我们给出一个示例配置文件，描述单节点 Flume 部署。此配置允许用户生成事件并随后将它们记录到控制台。

# example.conf：单节点 Flume 配置

# 命名此代理上的组件
a1.sources  =  r1 
a1.sinks  =  k1 
a1.channels  =  c1

# 描述配置源
a1.sources.r1.type  =  netcat 
a1.sources.r1.bind  =  localhost 
a1.sources.r1.port  =  44444

# 描述接收器
a1.sinks.k1.type  =  logger

# 使用在内存中缓冲事件的通道
a1.channels.c1.type  =  memory 
a1.channels.c1.capacity  =  1000 
a1.channels.c1.transactionCapacity  =  100

# 将source和sink绑定到channel 
a1.sources.r1.channels  =  c1 
a1.sinks.k1.channel  =  c1

此配置定义了一个名为 a1 的代理。a1 有一个在端口 44444 上侦听数据的源，一个在内存中缓冲事件数据的通道，以及一个将事件数据记录到控制台的接收器。配置文件命名各种组件，然后描述它们的类型和配置参数。一个给定的配置文件可能定义了几个命名代理；当启动给定的 Flume 进程时，会传递一个标志，告诉它要显示哪个命名代理。

有了这个配置文件，我们可以按如下方式启动 Flume：

$ bin/flume-ng agent --conf conf --conf-file example.conf --name a1 -Dflume.root.logger=INFO,console

#后台启动
$ nohup  bin/flume-ng agent --conf conf --conf-file example.conf --name a1 -Dflume.root.logger=INFO,console &

请注意，在完整部署中，我们通常会多包含一个选项：--conf=<conf-dir>。< conf-dir>目录将包含一个 shell 脚本flume-env.sh和一个可能的 log4j 属性文件。在这个例子中，我们传递了一个 Java 选项来强制 Flume 登录到控制台，并且我们没有自定义环境脚本。

从一个单独的终端，我们可以 telnet 端口 44444 并向 Flume 发送一个事件：

#安装telnet
$ yum install -y telnet
$ telnet localhost 44444

然后输入一些字符串回车，最后原始 Flume 终端将在日志消息中输出事件。

采集源

目录源

此源允许您通过将要摄取的文件放入磁盘上的目录来摄取数据。此源将监视指定目录中的新文件，并在新文件出现时从新文件中解析事件。事件解析逻辑是可插拔的。给定文件完全读入通道后，默认情况下通过重命名文件来指示完成，或者可以将其删除，或者使用 trackerDir 跟踪处理过的文件。

Flume 尝试检测这些问题条件：

  1. 如果一个文件在放入 spooling 目录后被写入，Flume 将在其日志文件中打印一个错误并停止处理。
  2. 所监视的目录中重复出现相同文件名的文件，Flume 将在其日志文件中打印错误并停止处理。

为避免上述问题，在将文件名移动到监视目录时，将唯一标识符（例如时间戳）添加到日志文件名可能很有用。

a1.channels = c1
a1.sources = source1

a1.sources.source1.type = spooldir
a1.sources.source1.channels = c1
a1.sources.source1.spoolDir = /opt/logs
a1.sources.source1.fileHeader = true
#忽略所有以.tmp结尾的文件，不上传
a1.sources.source1.ignorePattern = ([^ ]*\.tmp)
执行源

Exec source 在启动时运行给定的 Unix 命令，并期望该进程在标准输出上连续生成数据。如果进程因任何原因退出，源也会退出并且不会产生更多数据。这意味着诸如cat [named pipe] 或tail -F [file]之类的配置将产生所需的结果。

a1.sources  =  r1 
a1.channels  =  c1 
a1.sources.r1.type  =  exec 
a1.sources.r1.command  =  tail -F /var/log/secure 
a1.sources.r1.channels  =  c1
Kafka源

Kafka Source 是一个 Apache Kafka 消费者，它从 Kafka 主题中读取消息。如果您有多个 Kafka 源在运行，您可以使用相同的 Consumer Group 配置它们，以便每个都读取一组唯一的主题分区。这目前支持 Kafka 服务器版本 0.10.1.0 或更高版本。测试一直到 2.0.1，这是发布时可用的最高版本。

以逗号分隔的主题列表订阅主题的示例。

tier1.sources.source1.type  =  org.apache.flume.source.kafka.KafkaSource 
tier1.sources.source1.channels  =  channel1 
tier1.sources.source1.batchSize  =  5000 
tier1.sources.source1.batchDurationMillis  =  2000 
tier1.sources.source1.kafka.bootstrap.servers  =  localhost:9092 
tier1.sources.source1.kafka.topics  =  test1, test2 
tier1.sources.source1.kafka.consumer.group.id  =  custom.g.id

通过正则表达式订阅主题的示例

tier1.sources.source1.type  =  org.apache.flume.source.kafka.KafkaSource 
tier1.sources.source1.channels  =  channel1 
tier1.sources.source1.kafka.bootstrap.servers  =  localhost:9092 
tier1.sources.source1.kafka .topics.regex  =  ^topic[0-9]$ 
# 默认使用 kafka.consumer.group.id=flume
NetCat TCP 源

一个类似 netcat 的源，它侦听给定端口并将每一行文本转换为一个事件。类似于nc -k -l [host] [port]。换句话说，它打开一个指定的端口并监听数据。期望提供的数据是换行符分隔的文本。每一行文本都会变成一个 Flume 事件并通过连接的通道发送。

a1.sources  =  r1 
a1.channels  =  c1 
a1.sources.r1.type  =  netcat 
a1.sources.r1.bind  =  0.0.0.0 
a1.sources.r1.port  =  6666 
a1.sources.r1.channels  =  c1
avro source

avro可以监听和收集指定端口的日志，使用avro的source需要说明被监听的主机ip和端口号

a1.sources = r1
a1.channels = c1
a1.sources.r1.type = avro
a1.sources.r1.channels = c1
a1.sources.r1.bind = 0.0.0.0
a1.sources.r1.port = 4141

接收器

logger sink

就是将收集到的日志写到flume的log中，是个十分简单但非常实用的sink
简单实用，但是在实际项目中没有太大用处。

agent1.sinks.sink1.type = logger
avro sink

avro可以将接受到的日志发送到指定端口，供级联agent的下一跳收集和接受日志，使用时需要指定目的ip和端口

a1.channels = c1
a1.sinks = k1

a1.sinks.k1.type = avro
a1.sinks.k1.channel = c1
a1.sinks.k1.hostname = 0.1.1.1
a1.sinks.k1.port = 4545
HDFS 接收器

此接收器将事件写入 Hadoop 分布式文件系统 (HDFS)。它目前支持创建文本和序列文件。它支持两种文件类型的压缩。可以根据经过的时间或数据大小或事件数定期滚动文件（关闭当前文件并创建新文件）。它还按时间戳或事件起源的机器等属性对数据进行存储/分区。HDFS 目录路径可能包含格式转义序列，这些转义序列将被 HDFS 接收器替换以生成目录/文件名来存储事件。使用此接收器需要安装 hadoop，以便 Flume 可以使用 Hadoop jar 与 HDFS 集群进行通信。

注意：使用前需提供hadoop的库，参考问题1

需修改 flume-env.sh 配置，增添 hdfs 依赖库：

FLUME_CLASSPATH=“/opt/hadoop/:/opt/hadoop/hadoop-hdfs/:/opt/hadoop/lib/*”

a1.channels = c1
a1.sinks = k1

a1.sinks.k1.type = hdfs
a1.sinks.k1.channel = c1    
a1.sinks.k1.hdfs.path = hdfs://cluster-master:9000/flume/logs/%y-%m-%d/%H%M/%S
#上传文件的前缀
a1.sinks.k1.hdfs.filePrefix = logs-
a1.sinks.k1.hdfs.round = true
#多少时间单位创建一个新的文件夹
a1.sinks.k1.hdfs.roundValue = 10
a1.sinks.k1.hdfs.roundUnit = minute
#是否使用本地时间戳
a1.sinks.k1.hdfs.useLocalTimeStamp = true

hdfs创建新文件的周期可以是时间，也可以是文件的大小，还可以是采集日志的条数。

filePrefix = log_%Y%m%d_%H hdfs 文件名前缀

fileSuffix = .lzo 文件名后缀

inUsePrefix 临时文件名前缀  
inUseSuffix  临时文件的文件名后缀 默认值：.tmp 

rollSize = 0 默认值：1024
当临时文件达到该大小（单位：bytes）时，滚动成目标文件；
如果设置成0，则表示不根据临时文件大小来滚动文件

rollInterval = 600 默认值：10
当events数据达到该数量时候，将临时文件滚动成目标文件；
如果设置成0，则表示不根据events数据来滚动文件；

batchSize = 100 默认值：100
每个批次刷新到HDFS上的events数量；

导入jar包

为了让我们的flume和hadoop交互，所以我们进入/hadoop/share/hadoop/common和/hadoop/share/hadoop/hdfs两个文件夹找到下图的六个jar包导入到flume/lib/中即可。

问题：

1、Flume 报出异常org/apache/hadoop/io/SequenceFile$CompressionType

原理：缺少hadoop类库，其他报类库问题同理。

commons-configuration-*.jar
hadoop-auth-*.jar
hadoop-common-*.jar
hadoop-hdfs-*.jar
commons-io-*.jar
woodstox-core
stax2-api
guava-2.8.9.jar 删除flume老的
hadoop-shaded-guava-1.1.1.jar
hadoop-hdfs-client-3.3.2.jar
hadoop-shaded-protobuf_3_7-1.1.1.jar

$ cp ${HADOOP_HOME}/share/hadoop/common/hadoop-common-3.3.2.jar  /opt/apache-flume-1.9.0-bin/lib

2、Expected timestamp in the Flume event headers, but it was null

a1.sinks.k1.hdfs.useLocalTimeStamp = true

3、org.apache.hadoop.fs.UnsupportedFileSystemException: No FileSystem for scheme “hdfs”

hadoop-hdfs-client-3.3.2.jar

4、java.lang.NoClassDefFoundError: org/apache/hadoop/thirdparty/protobuf/Message

hadoop-shaded-protobuf_3_7-1.1.1.jar

弹性搜索接收器

此接收器将数据写入弹性搜索集群。默认情况下，将写入事件以便Kibana图形界面可以显示它们 - 就像logstash编写它们一样。

您的环境所需的 elasticsearch 和 lucene-core jar 必须放在 Apache Flume 安装的 lib 目录中。Elasticsearch 要求客户端 JAR 的主要版本与服务器的主要版本匹配，并且两者都运行相同的 JVM 次要版本。如果这不正确，将会出现 SerializationExceptions。要选择所需的版本，首先确定elasticsearch的版本和目标集群正在运行的JVM版本。然后选择与主版本匹配的 elasticsearch 客户端库。0.19.x 客户端可以与 0.19.x 集群通信；0.20.x 可以与 0.20.x 对话，0.90.x 可以与 0.90.x 对话。一旦确定了 elasticsearch 版本，然后读取 pom.xml 文件以确定要使用的正确 lucene-core JAR 版本。

每天都会将事件写入新索引。该名称将为 -yyyy-MM-dd 其中 是 indexName 参数。接收器将在 UTC 午夜开始写入新索引。

a1.channels = c1
a1.sinks = k1
a1.sinks.k1.type = elasticsearch
a1.sinks.k1.hostNames = 127.0.0.1:9200,127.0.0.2:9300
a1.sinks.k1.indexName = foo_index
a1.sinks.k1.indexType = bar_type
a1.sinks.k1.clusterName = foobar_cluster
a1.sinks.k1.batchSize = 500
a1.sinks.k1.ttl = 5d
a1.sinks.k1.serializer = org.apache.flume.sink.elasticsearch.ElasticSearchDynamicSerializer
a1.sinks.k1.channel = c1

多层代理

在这里插入图片描述

当我们用Flume采集日志时，由于数据源的多样性，则往往需要配置多个Flume进行采集，如果只是使用单层Flume的话，那么往往会产生很多个文件夹，单个文件夹也只是来自同一个节点的数据组成的。因此，为了减少文件的数据，增加文件的大小（减少HDFS的压力，同时提高MapReduce的处理效率）。往往会将同一组多个节点的数据汇聚到同一个文件中，这样同时也较少了数据从生产到分析的时间。
第一层agent负责采集原始数据，第二层agent负责对第一层数据进行汇聚，并把数据写入HDFS中。如果source节点数据量庞大的时候，最好采用多层代理。

从tail命令获取数据发送到avro端口(mini1机器)
另一个节点可配置一个avro源来中继数据，发送外部存储

tail-avro.conf:

##################
# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /home/hadoop/log/test.log
a1.sources.r1.channels = c1

# Describe the sink
a1.sinks = k1
a1.sinks.k1.type = avro
a1.sinks.k1.channel = c1
a1.sinks.k1.hostname = mini02
a1.sinks.k1.port = 4141
a1.sinks.k1.batch-size = 2



# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

从avro端口接收数据，下沉到logger（mini02机器）

# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = avro
a1.sources.r1.channels = c1
a1.sources.r1.bind = 0.0.0.0
a1.sources.r1.port = 4141

# Describe the sink
a1.sinks.k1.type = logger

# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

命令的执行

mini02上执行

bin/flume-ng agent --conf conf --conf-file conf/netcat-logger.conf --name a1 -Dflume.root.logger=INFO,console

mini01上执行

bin/flume-ng agent -c conf -f conf/tail-avro.conf -n a1

同时模拟mini01数据的写入：

i=1;
while(( $i<=500000 ));
do echo $i >> /home/hadoop/log/test.log;
sleep 0.5;
let ‘i++’;
done

实战

采集目录文件到HDFS

在这里插入图片描述

采集需求：某服务器的某特定目录下，会不断产生新的文件，每当有新文件出现，就需要把文件采集到HDFS中去

  • 数据源组件，即source ——监控文件目录 : spooldir

  • 下沉组件，即sink——HDFS文件系统

  • 通道组件，即channel——可用file channel 也可以用内存channel

配置文件

a1.channels = c1
a1.sources = source1
a1.sinks = k1

# 描述配置源
a1.sources.source1.type = spooldir
a1.sources.source1.channels = c1
a1.sources.source1.spoolDir = /opt/logs
a1.sources.source1.fileHeader = true
a1.sources.source1.ignorePattern = ([^ ]*\.tmp)

# 描述接收器
a1.sinks.k1.type = hdfs
a1.sinks.k1.channel = c1
a1.sinks.k1.hdfs.path = hdfs://cluster-master:9000/flume/logs/%y-%m-%d
a1.sinks.k1.hdfs.filePrefix=logs-%H-%M
a1.sinks.k1.hdfs.round = true
a1.sinks.k1.hdfs.roundValue = 10
a1.sinks.k1.hdfs.roundUnit = minute
a1.sinks.k1.hdfs.useLocalTimeStamp = true
a1.sinks.k1.hdfs.fileType = DataStream
a1.sinks.k1.hdfs.writeFormat = TEXT


# 使用在内存中缓冲事件的通道
a1.channels.c1.type  =  memory 
a1.channels.c1.capacity  =  1000 
a1.channels.c1.transactionCapacity  =  100

# 将source和sink绑定到channel 
a1.sources.source1.channels  =  c1 
a1.sinks.k1.channel  =  c1

启动

$ bin/flume-ng agent --conf conf --conf-file conf/example1.conf --name a1 -Dflume.root.logger=INFO,console
大数据辅助工具--Flume 数据采集组件
weixin_44387652的博客
03-22 2309
大数据辅助工具--Flume 数据采集组件1、数据收集工具系统产生背景2、专业的数据收集工具2.1、Chukwa2.2、Scribe2.3、Fluentd2.4、Logstash2.5、Apache Flume3、Flume 概述3.1、Flume 概念3.2、Flume 版本介绍4、Flume 体系结构/核心组件4.1、概述4.2、Flume 核心组件4.2.1、Event4.2.2、Client4.2.3、Agent4.2.4、Source4.2.5、Agent 之 Channel4.2.6、Agent
大数据日志收集框架之Flume实战
2401_84181731的博客
04-27 819
五、Flume 通道。
flume包，用于数据的采集
01-12
flume的包。flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。Client：Client生产数据，运行在一个独立的线程。    　Event： 一个数据单元，消息头和消息体组成。（Events可以是日志记录、 avro 对象等。） 　　Flow： Event从源点到达目的点的迁移的抽象。 　　Agent： 一个独立的Flume进程，包含组件Source、 Channel、 Sink。（Agent使用JVM 运行Flume。每台机器运行一个agent，但是可以在一个agent中包含多个sources和sinks。） 　　Source： 数据收集组件。（source从Client收集数据，传递给Channel） 　　Channel： 中转Event的一个临时存储，保存由Source组件传递过来的Event。（Channel连接 sources 和 sinks ，这个有点像一个队列。） 　　Sink： 从Channel中读取并移除Event， 将Event传递到FlowPipeline中的下一个Agent（如果有的话）（Sink从Channel收集数据，运行在一个独立线程。）
数据采集工具——Flume
☆Silence♂
11-23 2331
文章内容输出来源：拉勾教育大数据高薪训练营 第一部分 Flume概述 无论数据来自什么企业，或是多大量级，通过部署Flume，可以确保数据都安全、及时地到达大数据平台，用户可以将精力集中在如何洞悉数据上。 第 1 节 Flume的定义 Flume由Cloudera公司开发，是一个分布式、高可靠、高可用的海量日志采集、聚合、传输的系统。 Flume支持在日志系统中定制各类数据发送方，用于采集数据; Flume提供对数据进行简单处理，并写到各种数据接收方的能力。 简单的说，Flume是实时采集.
Flume详解——介绍、部署与使用
最新发布
Dragon_Z的博客
03-17 1120
本文讲解了如何部署Flume，并使用Flume实现数据采集到HDFS
Flume 数据采集
liuwei0376的专栏
07-12 3878
（1）在/home/bigdata_admin/bin目录下创建脚本xcall.sh[bigdata_admin@hadoop102 bin]$ vim xcall.sh（2）在脚本中编写如下内容 （3）修改脚本执行权限[bigdata_admin@hadoop102 bin]$ chmod 777 xcall.sh（4）启动脚本[bigdata_admin@hadoop102 bin]$ xcall.sh jps1）安装步骤略2）项目经验（1）项目经验之HDFS存储多目录虚拟机的项目不需要配置，我们只
大数据之flume数据采集
热门推荐
大数据同盟会的博客
08-22 1万+
Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 它可以采集文件，socket数据包等各种形式源数据，又可以将采集到的数据输出到HDFS、hbase、hive、kafka等众多外部存储系统中。 一、flume结构 Flume分布式系统中最核心的角色是agent，每一个agent相当于一个数据传递员，内部有三个组件： Source：：采集源，用于跟数据源对接，以获取数据 Sink：：下沉地，采集数据的传送目的，用于往下一级agent传递数据或者往最终存储系统传递数据 Channel
Flume采集数据
qq_39557465的博客
03-15 651
本篇文章编写了flume采集埋点行为数据上传到hdfs并映射为hive表的全过程
尚硅谷大数据技术之Flume
03-23
尚硅谷大数据技术之Flume Flume 是 Cloudera 提供的一个高可用的、 高可靠的、分布式的海量日志采集、聚合和传输的系统。 Flume 基于流式架构，灵活简单。 1.1 Flume 定义 Flume 是一个高可用的、 高可靠的、...
Flume 数据采集实战
12-22
《Flume 数据采集实战》 Flume 是大数据领域中常用的数据采集工具，它能高效地从各种数据源收集数据，然后传输至其他组件，如 Spark 或 Kafka，以便进行进一步的分析处理。在日志分析场景下，Flume 常用于收集...
大数据实时日志采集框架Flume实战（视频+课件+代码+工具+讲义）
03-09
Flume的介绍及其架构组成 Flume的安装部署 Flume的测试运行 Flume中配置使用file channel及HDFS sink Flume中配置HDFS文件生成大小及时间分区 Flume中配置Spooling Dir的使用 Flume中配置Spooling Dir的文件...
Flume采集数据到Kafka,然后从kafka取数据存储到HDFS的方法思路和完整步骤
03-08
自己研究大数据多年，写的一个日志数据采集方案笔记，可快速熟悉Flume，Kafka，Hdfs的操作使用，以及相互的操作接口。
实时数据流采集工具Flume
浅谈
06-22 7022
Flume是一个实时数据流采集框架，是一种分布式的、高可用的服务，可以有效的收集、聚合和移动大量的日志数据。将数据源的数据变成数据流，将数据采集到目标位置中。本质上就是一个数据迁移的过程。官网文档地址。
Flume数据采集准备
努力的凹凸曼的博客
06-24 429
　　Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 1.flume节点服务设计 2.下载Flume并安装 　　1）下载Apache版本的Flume。 　　2）下载Cloud...
flume采集数据
weixin_42796403的博客
12-10 719
今天写了一个flume的配置文件采集日志文件（json格式），将日志文件采集到kafka，结果在kafkatools工具中发现采集的每一条数据前面都多出了两个字节的乱码，显然后面的操作都是以json格式进行处理，数据被阻塞在kafka中。 后来进行了反复检查，发现问题还是出现在flume配置文件中。。。。。。。。。。。。 在这里配置是否以event格式写入kafka时，多加了kafka，flume读取数据时还是以默认设置以event格式读入数据，结果event中的header信息保存到kafka后变成了乱
Flume数据采集（行为日志数据）
qq_45111566的博客
03-14 1151
用日志文件使用一个脚本来生成存放在集群某一个节点，由于Flume是一个单点操作，故需要在该节点配置日志采集Flume。且采集到的日志进行JSON格式校验，然后将通过校验的JSON日志发送到kafka。Flume怎么校验？Source的类型选择？选择TailDirSource的原因，可以实现断点续传，**多目录多文件实时**监控？Channel的类型选择？选择kafkaChannel，省去了Sink,，提高了效率。kafka可以均衡速率，kafkachannel直接到kafka,不用sink。
flume数据采集工具
m0_52106226的博客
01-10 480
业务系统就是客户端加上后台的服务 Source,channel,Event flime运行起来的进程叫agentflume采集系统就是由一个个agent连接起来所形成的一个或简单或复杂的数据传输通道每一个agent都有3个组件Source,channel,sink Source就相当于read(读数据) Channel就相当于缓存数据(为了解耦合) Sink就相当于write(写数据) Event event是数据 在channel中的封装形式 因此,Source组件在获取到原始数据后,需要封装成ev
flume数据采集_数据采集
weixin_39728909的博客
11-02 596
背景许多公司的业务平台每天都会产生大量的日志数据。对于这些日志信息，我们可以得到出很多有价值的数据。通过对这些日志信息进行日志采集、收集，然后进行数据分析，挖掘公司业务平台日志数据中的潜在价值。任何完整的大数据平台，一般包括以下的几个过程：数据采集-->数据存储-->数据处理（ETL）-->数据展现(可视化，报表和监控)其中，数据采集是所有数据系统必不可少的，随着大数据越来越被重...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

吕布辕门

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值