flink如何控制日志输出大小

最新推荐文章于 2025-02-02 10:41:16 发布
原创 最新推荐文章于 2025-02-02 10:41:16 发布 · 1.3k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#flink

本文指导如何将Flink项目的日志框架从log4j切换到logback，以解决日志过大问题，涉及jar包替换和配置文件调整。

flink 默认采用log4j的日志输出， 调整flink的日志类型 log4j==》logback，主要解决日志过大的问题
1.默认log4j 将lib目录下log4j-1.2-api-2.12.1.jar  log4j-api-2.12.1.jar  log4j-core-2.12.1.jar  log4j-slf4j-impl-2.12.1.jar 备份
把logback的依赖包logback-classic-1.2.3.jar， logback-core-1.2.3.jar 放入的lib中
2.将log4j.propertios 去掉，或重名名即可

 

 

spring0666
关注
Flink 1.13.2 日志配置优化：保留最近 7 天日志文件
RodJohnsonDoctor的专栏
05-15 623
Apache Flink 1.13.2 默认的日志配置存在局限性，无法满足生产环境中长时间保留日志的需求。默认配置仅基于文件大小滚动日志，且最多保留10个文件，缺乏时间维度的管理。为解决这一问题，可以通过修改log4j.properties文件，实现日志按天滚动并保留最近7天的日志文件。具体优化包括：使用TimeBasedTriggeringPolicy按天滚动日志，并通过DefaultRolloverStrategy设置日志保留策略。这一优化在确保日志可用性的同时，有效控制了存储成本，便于故障排查和历史数
Flink常见输出（sink）算子使用教程（DataStream API）
SunnyRivers
08-22 321
一个 Flink 程序，其实就是对 DataStream 的各种转换。具体来说，代码基本上都由以下几部分构成，获取执行环境（execution environment）读取数据源（source）定义基于数据的转换操作（transformations）定义计算结果的输出位置（sink）触发程序执行（execute）Flink 作为数据处理框架，最终还是要把计算处理的结果写入外部存储，为外部应用提供支持，如上图所示。
flink限制日志文件大小（ 滚动日志配置）
流氓兔的博客
02-09 6378
flink如果不限制日志文件大小，如果报错的情况下，会产生大文件日志。
Flink集群日志过大问题解决
m0_61813695的博客
07-10 1110
在Flink程序中，可以通过设置日志级别来控制控制台输出的信息。要让控制台只打印结果信息，可以将日志级别设置为ERROR。这样，只有错误信息和print()方法输出的结果会显示在控制台上。要设置日志级别，请在Flink项目的resources目录下创建一个名为log4j.properties的文件（如果已经存在，请修改相应的配置）。
Flink on yarn日志输出
热门推荐
初学者
08-29 1万+
Flink on yarn日志输出-终极方案 题主在做flink实时流时，一直不能在flink web上打印出日志，百思不得其解，想找到相应的日志文件，却也没找到，查阅了大量资料以及通过自己的实践，总算搞明白了flink on yarn的日志输出，这里写一篇文章，以此来记录。 首先，我们在看flink的日志输出时，要先明白flink/conf下面的日志配置文件的作用。 log4j-cli.pro...
限制日志大小记录
HongDaYu的搬砖之路
08-21 354
... ...
Flink任务的日志目录增长过快，导致磁盘写满
编程技术、独立开发、技术资讯以及编程感悟等内容
02-02 496
Flink任务的日志目录增长过快，导致磁盘写满
Flink日志固定输出路径，并按照分钟拆分日志文件
Jomly Kellenda的博客
08-07 1903
################################################################################ # Licensed to the Apache Software Foundation (ASF) under one # or more contributor license agreements. See the NOTICE file # distributed with this work for additional info...
Flink cep监控 Flink任务日志
qq_31866793的博客
06-22 893
1,配置flink的log4j（idea本地测试） 2, bbb 3, ccc
4.Flink实时项目之日志数据拆分
Player_001的博客
02-14 1358
我们前面采集的日志数据已经保存到 Kafka 中，作为日志数据的 ODS 层，从 kafka 的ODS 层读取的日志数据分为 3 类, 页面日志、启动日志和曝光日志。这三类数据虽然都是用户行为数据，但是有着完全不一样的数据结构，所以要拆分处理。将拆分后的不同的日志写回 Kafka 不同主题中，作为日志 DWD 层。 页面日志输出到主流，启动日志输出到启动侧输出流，曝光日志输出到曝光侧输出流
如何使用 Flink 每天实时处理百亿条日志？
weixin_42073629的博客
10-25 1277
Sherlock.IO 是 eBay 现有的监控平台，每天要处理上百亿条日志、事件和指标。Flink Streaming job 实时处理系统用于处理其中的日志和事件。 本文将结合监控系统 Flink 的现状，具体讲述 Flink 在监控系统上的实践和应用，希望给同业人员一些借鉴和启发。 监控系统 Flink 的现状 eBay 的监控平台 Sherlock.IO 每天处理着上百亿条日志（log），事件（event）和指标（metric）。 通过构建 Flink Streaming job 实时处理系
Flink 程序打印过多日志问题，日志过多解决
konstantin的博客
03-17 1518
比如在flink 消费kafka的程序中，出现多次kafka fetcher，map 2/10类似的日志，是因为在执行的任务的依赖里有log相关的依赖，建议exclue掉当前执行的任务的依赖中所有log4j,sl4j,logback等相关依赖，就可以解决这个问题。
FlinkCDC 同步 PostgreSQL -＞ PostgreSQL 数据时日志占满磁盘问题
lg4546的专栏
06-25 1522
1 前段时间遇到一个问题，用Flinkcdc 同步阿里云数据库RDS的postgresql中的数据到本地的 postgresql库中。发生了一个置命的问题。磁盘空间占满，dao'zhi
Flink 配置日志
qq_31866793的博客
06-12 2741
1，本地代码调试配置日志： 1，创建log4g.properties文件：内容如下： log4j.rootLogger=INFO,console log4j.appender.console=org.apache.log4j.ConsoleAppender log4j.appender.console.layout=org.apache.log4j.PatternLayout log4j...
pytest-xdist 日志打印问题
Ho_mj的专栏
12-03 2146
pytest-xdist 日志打印问题 问题描述： pytest-xidst:进程级的并发运行pytest插件，-n 指定CPU数量， --loadfile 参数来控制顺序 ，默认是无序。 在利用pytest-xidst实现case并发执行，与框架中的日志处理logging模块不兼容，遇到一些日志打印问题。logging模块内日志轮转的hand...
log4j配置_Flink 1.11 日志文件该如何配置？
weixin_39540315的博客
11-24 2523
点击上方 "zhisheng"关注,星标或置顶一起成长Flink 从入门到精通系列文章Flink 1.11 之前在 Flink 1.11 之前，Flink 使用的日志是 Log4j，配置文件 log4j.properties 中的内容如下：# This affects logging for both user code and Flinklog4j.rootLogger=INFO,...
flink日志配置
u011250186的博客
08-04 2576
STEP1: 难受真的难受, 由于网上关于flink日志的的配置很少,导致笔者在配置日志的时候遇到了很多大坑!!!!!! STEP2:当jar包通过flink的WEBUI提交的时候, 自己配置的log日志没办法打印到配置的路径下,这让人很难受!!!!! STEP3:后来查询了中外资料发现, flink自带日志配置文件假如是集群运行要提前看一下jar包运行在哪台机器,也就是说我们不需要自己配置配置文件,这个文件就在 flink/conf 文件夹下面!!! 如下两张图: ...
Flink日志文件配置
大数据进阶之路
06-16 6964
因为在正常的情况下，Flink的流数据是非常大的，有时候会使用print()打印数据自己查看，有时候为了查找问题会开启debug日志，就会导致日志文件非常大，通过Web UI查看对应的日志文件是会非常卡，所以首先将日志文件按照大小滚动生成文件，我们在查看时不会因为某个文件非常大导致Web UI界面卡，没法查看。 2.2 设置日志写入Kafka集群 针对按照日志文件大小滚动生成文件的方式，可能因为某个错误的问题，需要看好多个日志文件，所以可以把日志文件通过KafkaAppender写入到kafka中，然后通过
Flink1.11.2 on YARN滚动日志配置
仙道Bob的专栏
04-14 1957
Flink1.11 on Yarn默认日志是log4j MainAppender非滚动的。如果是流式任务，任务就会常驻，这样日志文件会越来越大(尤其是Task Managers日志)，不加处理磁盘空间就会越占越大，页面日志加载响应也会卡顿。所以可以对Flink的日志做一个滚动配置，这样就可以控制日志文件大小。 flink on yarn用的log配置默认是flink/conf/log4j.properties配置文件，可修改为： # 滚动日志的配置 # This affects logging fo.
flink处理日志
最新发布
08-09
在使用 Apache Flink 处理日志数据时，通常需要涉及以下几个关键步骤：数据源接入、数据解析、数据处理逻辑实现、结果输出以及性能调优。以下是一个较为完整的日志数据处理流程和最佳实践。 ### 数据源接入 Flink 支持多种数据源，如 Kafka、文件系统（如 HDFS）、Socket 等。对于日志数据，Kafka 是一个常见的选择，因为它可以作为日志收集的缓冲层。使用 Kafka 作为数据源时，可以通过 `FlinkKafkaConsumer` 来消费日志数据： ```java Properties properties = new Properties(); properties.setProperty("bootstrap.servers", "localhost:9092"); properties.setProperty("group.id", "flink-log-processing"); FlinkKafkaConsumer<String> kafkaSource = new FlinkKafkaConsumer<>("input-topic", new SimpleStringSchema(), properties); DataStream<String> rawLogs = env.addSource(kafkaSource); ``` ### 数据解析 日志数据通常是文本格式，可能包含时间戳、日志级别、消息内容等字段。Flink 提供了丰富的 API 来解析这些数据。例如，可以使用 `map` 或 `flatMap` 函数将原始字符串解析为结构化数据： ```java DataStream<LogEntry> parsedLogs = rawLogs.map(new MapFunction<String, LogEntry>() { @Override public LogEntry map(String value) throws Exception { // 假设日志格式为：timestamp level message String[] parts = value.split(" "); return new LogEntry(Long.parseLong(parts[0]), parts[1], parts[2]); } }); ``` ### 数据处理逻辑 根据业务需求，可以对解析后的日志数据进行各种处理，如过滤、聚合、窗口操作等。例如，可以使用窗口函数来统计每分钟的日志数量： ```java DataStream<CountPerMinute> counts = parsedLogs .keyBy("level") // 按日志级别分组 .timeWindow(Time.minutes(1)) // 每分钟窗口 .apply(new WindowFunction<LogEntry, CountPerMinute, Tuple, TimeWindow>() { @Override public void apply(Tuple key, TimeWindow window, Iterable<LogEntry> values, Collector<CountPerMinute> out) { int count = 0; for (LogEntry entry : values) { count++; } out.collect(new CountPerMinute(((Tuple1<String>) key).f0, count, window.getEnd())); } }); ``` ### 结果输出 处理后的结果可以输出到多种存储系统中，如数据库、Elasticsearch、HDFS 等。例如，使用 `print` 方法将结果输出到控制台，或者使用 `addSink` 方法将结果写入到 Elasticsearch： ```java counts.addSink(new ElasticsearchSink<>(esSinkBuilder.build())); ``` ### 性能调优 为了提高 Flink 作业的性能，可以采取以下一些最佳实践： 1. **并行度设置**：合理设置并行度，以充分利用集群资源。可以通过 `env.setParallelism(4)` 来设置全局并行度。 2. **检查点配置**：启用检查点机制以确保状态的一致性和故障恢复。可以通过 `env.enableCheckpointing(5000)` 来设置检查点间隔。 3. **状态管理**：合理使用状态后端（如 RocksDBStateBackend），并根据数据量大小调整内存配置。 4. **反压处理**：监控作业的反压情况，并通过调整窗口大小、增加并行度等方式缓解反压问题。 5. **数据分区**：确保数据在各个任务之间均匀分布，避免某些任务成为瓶颈。 ###
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值