2020年3月1日——flume通过日志文件data.log采集数据并打印在控制面板上

最新推荐文章于 2024-12-23 11:51:05 发布

南栀子。

最新推荐文章于 2024-12-23 11:51:05 发布

阅读量607

点赞数

本文链接：https://blog.youkuaiyun.com/qq_38191971/article/details/104599124

版权

本文档介绍了如何在/home/hadoop目录下创建data.log文件，并使用Flume的exec-memory-logger配置从该日志文件中采集数据，实现在控制面板上打印。遵循~/.bashrc中的Flume配置，数据可以被成功采集。对于将数据离线写入HDFS或实时写入KAFKA的具体步骤，建议查阅官方文档。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在/home/hadoop目录下创建data.log

进入flume安装的目录下

cd /usr/local/flume/conf/  
gedit exec-memory-logger.conf

在exec-memory-logger.conf里面输入以下内容：

＃exec-memory-logger.conf：单节点Flume配置

＃在此代理上命名组件
a1.sources = r1
a1.sinks = k1
a1.channels = c1

＃描述/配置源
a1

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

南栀子。

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Flume将日志log文件从本地导入kafka，再从kafka导入HDFS。（以Kafka在两个文件中分别作为Source和Sink）

Cheengvho的博客

07-20

1591

kafka-in.conf文件（在/etc/flume-ng/conf文件夹下） #文件从本地路径到kafka配置文件# #-----------------------------# # 指定Agent的组件名称 agent1.sources = file_source agent1.sinks = kafka_sink agent1.channels = mem_channel #---...

Flume使用(从本地日志采取文件)

weixin_45575210的博客

08-30

607

日志模拟生成脚本 while true; do echo 111111111111111111111111_$RANDOM >> access.log; sleep 0.2; done Flume采集配置 #定义这个agent中各个组件的名字,a1是一个分组,在执行的时候可以执行配置文件中指定的组 a1.sources = r1 a1.channels = c1 a1.sinks = k1 # source config (描述和配置source组件 r1)..

参与评论您还未登录，请先登录后发表或查看评论

带你看懂大数据采集引擎之Flume&采集目录中的日志

weixin_33810302的博客

03-04

227

欢迎关注大数据和人工智能技术文章发布的微信公众号：清研学堂，在这里你可以学到夜白（作者笔名）精心整理的笔记，让我们每天进步一点点，让优秀成为一种习惯！一、Flume的介绍： Flume由Cloudera公司开发，是一种提供高可用、高可靠、分布式海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于采集数据；同时，flume...

Flume整合Kafka采集滚动的日志

weixin_30807677的博客

04-05

307

背景：从Nginx中间件采集web项目产生的滚动日志。通过本地服务器（简称：A服务）的Flume采集日志，然后传输到另外一台服务器（简称：B服务器）的Flume上，然后暂存到 B服务器的Kafka中。为了展示效果，通过Kafka的consumer进行消费，打印到字符界面。 1、Flume的配置文件如下： 1.1、A服务器上，[exec-memory-avro.conf] 配置文件如下...

flume采集日志，利用kafka的consumer来显示其日志，再利用flume写到HDFS上

dontlikerabbit的博客

01-18

245

准备 zookeeper，flume，kafka安装，详见博客：https://blog.csdn.net/dontlikerabbit/article/details/112673880 把/opt/software/spark/flume190/lib下的guava-11.0.2.jar删掉在 /opt下新建applog文件夹，把logmaker-2.0.jar包（需要自己写，带后续上传jar内容）放在下面执行jar包： nohup java -jar logmaker-2.0.jar /opt/a

2020年3月3日——Flume和Kafka完成实时数据的采集

南栀子。的博客

03-03

388

#机器A上面配置flume文件exec-memory-avro.conf cd /usr/local/flume/conf/ gedit exec-memory-avro.conf ＃在此代理上命名组件 exec-memory-avro.sources = exec-source exec-memory-avro.sinks = avro-sink exec-memory-avro.channe...

大数据课程——Flume日志收集

weixin_43334251的博客

04-29

1386

大数据课程——Flume日志收集实验内容以及要求如下图所示，节点1、节点2产生日志，节点1和节点2的日志最终流向节点3，并最终写入HDFS文件。节点1的Agent的Source类型为syslogtcp，采集日志信息通过用户编写的Client程序通过socket（假设端口号5640）发送到flume agent；节点2的日志信息来自于监听特别的日志文件夹（/home/hadoop/log）产生的事件。请部署Flume，并完成相应的配置，实现如下日志收集方案。在后面的叙述当中，Centos01作为上

Flume日志采集系统的部署和使用

2301_80956509的博客

12-23

843

掌握Flume的安装与配置：学习如何在CentOS上安装和配置Apache Flume环境。熟悉Flume的数据流模型：理解Flume的Source、Channel、Sink组件及其数据流模型。

大数据离线处理数据项目（一）网站日志文件数据采集日志拆分数据采集到HDFS并进行预处理

weixin_45437533的博客

11-30

6120

大数据离线处理数据项目（一）网站日志文件数据采集日志拆分数据采集到HDFS并进行预处理

Flume使用之监听指定端口并打印到控制台

FlatTiger的博客

02-23

1243

本案例端口监听使用的是netcat，如果使用虚拟机模拟实现，可以先执行yum -y install nc。自定义flume的配置文件，注意文件名要以.conf结尾。 # 定义agent名字 a1 # 定义sources、channels、sinks 都可以有多个，空格隔开 a1.sources = r1 a1.channels = c1 a1.sinks = k1 # 定义source类型 a1.sources.r1.type = netcat # 绑定source地址 a1.sources.r1.

log4j输出日志到flume

03-03

log4j输出日志到flume例子，包含log4j配置，flume配置，测试类

自定义flume收集日志格式

weixin_44617428的博客

10-10

660

日志文件格式(说明：两行日志是一条数据） [2019-10-10 09:42:53] hello world [2019-10-10 09:43:53] hello text [2019-10-10 09:44:53] hello hello 1.代码实现 package cn.tedu.source; import java.io.BufferedReader; import java.io.F...

基于flume的日志收集系统配置

奔波在代码路上

10-24

3346

大数据系统中通常需要采集的日志有：系统访问日志用户点击日志其他业务日志（比如推荐系统的点击日志）在收集日志的时候，一般分为三层结构：采集层、汇总层和存储层，而不是直接从采集端将数据发送到存储端，这样的好处有：如果存储端如Hadoop集群、Kafka等需要停机维护或升级，对部署在应用服务器上的采集端没有影响，只需要汇总层做好数据的缓冲，在存储端恢复正常后继续写入数据。采集层只负...

云计算（六）——flume采集日志信息

z2bns的博客

07-13

922

一、flume采集日志信息到hdfs系统【实验目的】 1)掌握flume的应用原理 2)掌握flume对日志信息的采集过程【实验原理】 Flume是Cloudera提供的日志收集系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种storage。Flume是一个分布式、高可靠、和高可用...

4.3：flume+Kafka日志采集实验

USTSD的博客

06-16

615

〇、目标使用kafka和flume组合进行日志采集拓扑结构一、重启SSH和zk服务打开终端，首先输入：sudo service ssh restart 重启ssh服务。之后输入下述命令开启zookeeper服务： zkServer.sh start 二、启动flume 输入cd /home/user/bigdata/apache-flume-1.9.0-bin 进入flume目录...

Flume把收集到的数据存储在 home/flumedata目录

qq_45453185的博客

12-05

1167

** Flume把收集到的数据存储在 home/flumedata目录进入配置：vim filechannel.conf ** # 给Agent起名 # 给Source起名 a1.sources = s1 # 给Channel起名 a1.channels = c1 # 给Sink起名 a1.sinks = k1 # 配置Source的类型 a1.sources.s1.type = netcat # 配置IP a1.sources.s1.bind = 0.0.0.0 # 配置监听端口 a1.sources

日志采集工具之Flume实操-上

xiaoleilei666的博客

07-11

1695

主要讲述使用flume工具采集日志；

【Hadoop生态圈】2.使用Flume采集日志数据到HDFS中

皓亮君的博客

09-21

8829

使用Flume采集日志数据到HDFS中

flume 自定义Interceptor 按照日志类型的不同，将日志分类打印

xiaonuoyo的博客

05-25

566

flume 自定义拦截器 Interceptor 运行在不同主机上

关于Hadoop的新能源车销售数据分析平台数据采集层代码实现