Flume 实时收集日志问题

最新推荐文章于 2023-12-24 12:33:57 发布
最新推荐文章于 2023-12-24 12:33:57 发布
阅读量1.2k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 大数据组件 文章标签： 调试 flume 日志
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Mrzhangoac/article/details/71598355
在使用Flume配合Kafka进行实时日志收集过程中，遇到将日志级别从INFO改为DEBUG后无法正常输出的问题。通过查看源码并调整log4j配置解决了这一难题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在写Flume+Kafka实时收集Mapreduce日志时，将原来的INFO级别修改为DEBUG之后，突然发现不能正确输出，此时我的内心是崩溃的，难道说Flume不支持DEBUG级别的日志？下图即是有问题的log4j配置文件：


不信邪的我点开了源码，然后发现源码给的栗子是可以有DEBUG的呀：

追溯到源码，讲真，没看懂，不懂为什么卡住了，以后有时间需要再次深入探究源码，无奈之下只能默默改成源码中给的例子，结果是可以发送的：

使用flume收集日志
不太圆的圆
04-28 1013
flume介绍 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 官网文档：http://flume.apache.org/FlumeUserGuide.html flume安装 flume依赖于ja...
Flume实时采集日志到Kafka（极简版）
Abysscarry的博客
04-01 1万+
背景： 由于项目采用微服务架构，业务日志文件数量较多，我做了个简单的日志监控服务，先在此分享下日志采集的简单步骤，没有任何花里胡哨 ~（ps：一切数据到了 kafka就非常好解决了！） 一、Flume安装 Flume的安装使用可以说非常简单，直接进官网：http://flume.apache.org/ 最新是1.9.0版本，我们选择1.8.0版本下载。 然后在Linux下解压： 配置用...
将A服务器上的日志实时采集到B服务器--flume
qq_20064763的博客
01-22 422
1.技术选型 A服务器： exec source + memory channel + avro sink B服务器： avro source + memory channel + logger sink   2.日志采集过程 1） 服务器A上监控一个文件，当我们访问主站时会有用户行为日志记录到xx.log中 2） avro sink把新产生的日志输出到对应的avro source...
Flume日志采集
热门推荐
我的祖传代码
08-08 1万+
目录 一 前言 二 概述 2.1 什么是Flume 2.2 Flume特性 三 Flume原理 3.1 Flume组件详解 3.2 Flume采集结构图 3.2.1 简单结构 3.2.2 复杂结构 4 Flume实战案例 4.1 Flume的安装部署 4.2 采集案例 4.2.1 采集目录到HDFS 4.2.2 采集文件到HDFS 4.3 更多source和si...
Flume 实时日志收集系统
qq_42496461的博客
04-22 1003
案例一： NetCat Source：监听一个指定的网络端口，即只要应用程序向这个端口里面写数据，这个source组件就可以获取到信息。然后用telnet协议来通过端口传递信息flume官网中NetCat Source描述：type – 组件的类型bind – 日志需要发送到的主机名或者Ip地址，该主机运行着netcat类型的source在监听。
Flume 读取实时更新的日志文件
化繁为简：为先，为专，为强
02-24 6545
1. 日志文件每天roate一个新文件  a)  方案一 There is no way the tail command itself can automatically switch to the new file with a different name when the date changes. Thus, you have to kill the old tail and
Flume日志收集
02-25
Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。(1)可靠性当节点出现故障时...
Docker容器中运行flume及启动不输出运行日志问题
09-30
Flume是一个分布式、可靠且可用于有效收集、聚合和移动大量日志数据的系统。在提供的配置文件中，我们有两个agent，分别是app1和app2，它们分别监听不同的端口（44444和44445）接收Avro源数据。每个agent都有一个...
基于Flume的分布式日志采集分析系统设计与实现.pdf
08-09
日志采集部分使用Flume来实时采集日志数据，日志处理部分使用Elasticsearch来存储和处理日志数据，日志分析部分使用Kibana来提供可视化的展示结果。 系统实现 该系统的实现主要包括三个步骤：日志采集、日志处理和...
Flume实战三，将A服务器日志实时采集到B服务器中
u013429010的博客
09-20 886
架构图： 技术选型： exec source + memory channel + avro sink avro source + memory channel + logger sink 1)server A 数据收集端 在cd $FLUME_HOME/conf vim exec-memory-avro.conf #exec-memory-avro.conf内容 # a1可以看做是flume服...
如何利用flume进行日志采集
最新发布
EverythingAtOnce的博客
12-24 4008
Apache Flume 是一个分布式、可靠、高可用的日志收集、聚合和传输系统。它常用于将大量日志数据从不同的源（如Web服务器、应用程序、传感器等）收集到中心化的存储或数据处理系统中。Apache Flume 是一个强大的数据收集和传输工具，可以轻松地处理大量的数据流。使用本文提供的示例和概念，可以开始使用 Flume 并适应不同的数据采集和传输需求。本篇文章就介绍到这里，感兴趣的同学可以自己去深入研究，使用flume完成日志采集、关键字告警等一整套的业务。
日志采集工具之Flume实操-上
xiaoleilei666的博客
07-11 1716
主要讲述使用flume工具采集日志；
Flume 从入门到实时日志采集实例
Qi.zheng
10-27 7084
#flume-ng 初始配置 bin/flume-ng agent --conf conf --conf-file example.conf --name a1 -Dflume.root.logger=INFO,console #agent 启动的进程为agent进程 #conf  指定flume-env.sh和log4j.properties的路径 #conf-file  指定agent
Flume：采集日志
不花的花和尚的博客
10-01 304
flume收集nginx日志：   
大数据日志文件实时收集框架Flume介绍及其使用
不清不慎的博客
04-15 4667
大数据中，我们经常会将一些日志文件收集分析，比如网站的日志文件等等，我们需要一个工具收集数据并且上传到HDFS,HIVE,HBASE等大数据仓库中，Apache为我们提供了一个很好的文件实时收集框架供我们使用。 一、Flume的介绍 官网的介绍如下： Apache Flume is a distributed, reliable, and available system for e...
大数据课程——Flume日志收集
weixin_43334251的博客
04-29 1403
大数据课程——Flume日志收集 实验内容以及要求 如下图所示，节点1、节点2产生日志，节点1和节点2的日志最终流向节点3，并最终写入HDFS文件。节点1的Agent的Source类型为syslogtcp，采集日志信息通过用户编写的Client程序通过socket（假设端口号5640）发送到flume agent；节点2的日志信息来自于监听特别的日志文件夹（/home/hadoop/log）产生的事件。请部署Flume，并完成相应的配置，实现如下日志收集方案。 在后面的叙述当中，Centos01作为上
flume采集日志文件的问题
wengad的博客
05-18 2062
使用flume1.9.0采集滚动日志，配置： ag1.sources = s1 ag1.channels = c1 ag1.sinks = k1 ag1.sources.s1.type=execag1.sources.s1.command=tail -F "/home/flume/logtest/logtest-20190518.log" ag1.channels.c1.type=memo...
Flume 打印监控信息到控制台时的 Failed to load class org.slf4j.impl.StaticLoggerBinder问题
a7187593的博客
05-20 734
Failed to load class "org.slf4j.impl.StaticLoggerBinder 在使用Flume监控时有时会需要将监控的信息打印到控制台上，在启动监控时有时会报如下错误 这个问题就是因为项目缺少了org.slf4j.impl.log4j12_1.7.2.jar包，将jar导入到相应的lib文件下就行了，flume就导入到flume/lib下重新启动flume就可以了，如果是在idea中也是同理。 导入jar包后重启就可以发现控制台打印信息正常了： jar包连接即提取码如下
flume 启动不输出运行日志
哎幽的成长
10-24 1万+
问题以前碰到的一个问题，算是一个小问题，flume 用命令./flume-ng agent -c /opt/apps/flume/conf -f /opt/apps/flume/conf/syslog_tcp.conf -n a1 -Dflume.root.logger=INFO,console启动的时候，flume使用的log4j不起效，不会输出日志到日志文件。解决在启动时去掉-Dflume.ro
Flume：分布式日志收集与管理
"Flume日志收集" Flume是一个由Apache开发的分布式系统，专门用于高效、可靠地收集、聚合和移动大量日志数据。它设计的目标是保证数据的完整性，具备良好的可扩展性和易管理性，同时也允许用户自定义扩展以适应不同...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值