Flink RocksDB 状态后端参数优化实践

最新推荐文章于 2024-05-25 01:35:38 发布
最新推荐文章于 2024-05-25 01:35:38 发布
阅读量454 收藏
点赞数 3
CC 4.0 BY-SA版权
文章标签： flink 大数据 Flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/PmtxPhp/article/details/133765728
Flink 专栏收录该内容
27 篇文章 ¥59.90 ¥99.00
订阅专栏
本文探讨了Flink中使用RocksDB作为状态后端时的参数调优，包括内存相关参数如blockCacheSize和writeBufferManagerCapacity，磁盘相关参数maxBackgroundCompactions和maxBytesForLevelBase，以及其他参数如maxOpenFiles和enableStatistics。通过调整这些参数，可以优化读写性能、磁盘空间利用率和查询性能。建议在实际环境中结合具体场景和硬件资源进行测试和调优。

在使用Flink的状态后端时，RocksDB是一个常用的选择。为了获得最佳性能，我们可以对RocksDB进行参数调优。本文将介绍一些常见的参数以及它们的调优实践，并提供相应的源代码示例。

  1. 内存相关参数调优

1.1 blockCacheSize

blockCacheSize参数控制着RocksDB用于缓存数据块的内存大小。增加该值可以提高读取性能，特别是对于大型状态。然而，过大的blockCacheSize可能导致JVM内存压力过大，因此需要根据具体情况进行调整。

import org.rocksdb.BlockBasedTableConfig;
import org.rocksdb
了解本专栏 订阅专栏 解锁全文
Flink生产过程中RocksDB状态调优
打工日常
02-26 1218
Flink生产过程中RocksDB状态调优
【Flink】Flink on RocksDB 参数调优指南
九师兄
06-14 6851
1. 背景 对于需要保存超大状态（远超于内存容量）的流计算场景来说，目前 RocksDB [1] 是 Flink 平台上官方实现的唯一选择。业界也有使用 Redis 等其他服务作为状态后端的方案，但终究不够成熟，且已被社区否决 [2]. 基于我们长期的状态调优经验，通过合理的资源分配，RocksDB 方案可以稳定支持上百 GB 甚至上 TB 的总状态量；但是众所周知的是，RocksDB 的可调参数非常繁琐，有上百个之多，且彼此之间还相互影响，非常难以调整。更致命的是，默认参数和配置不当的参数，读写性能会比.
RocksDB系列二：RocksDB Option
肖氏专栏
07-16 5905
 RocksDB用户可以通过Options类将配置信息传入引擎，除此之外，还可以以下其他方法设置，分别为：通过option file生成一个option class从option string中获取option 信息从string map中获取option信息option string  用户可以调用GetColumnFamilyOptionsFromString() or GetDBOption...
Flink on RocksDB 参数调优指南
qq_38363255的博客
01-29 1234
1. 背景 对于需要保存超大状态（远超于内存容量）的流计算场景来说，目前 RocksDB [1] 是 Flink 平台上官方实现的唯一选择。业界也有使用 Redis 等其他服务作为状态后端的方案，但终究不够成熟，且已被社区否决 [2]. 基于我们长期的状态调优经验，通过合理的资源分配，RocksDB 方案可以稳定支持上百 GB 甚至上 TB 的总状态量；但是众所周知的是，RocksDB 的可调参数非常繁琐，有上百个之多，且彼此之间还相互影响，非常难以调整。更致命的是，默认参数和配置不当的参数，读写...
Flink 状态后端和RocksDB调优
qq_24186017的博客
10-05 2907
1什么是状态后端？ 2状态后端分类？ 3 RocksDB大状态调优
Flink RocksDB状态后端优化总结
bigdatakenan的博客
03-20 2436
截至当前，Flink 作业的状态后端仍然只有 Memory、FileSystem 和 RocksDB 三种可选，且 RocksDB 是状态数据量较大（GB 到 TB 级别）时的唯一选择。RocksDB 的性能发挥非常仰赖调优，如果全部采用默认配置，读写性能有可能会很差。但是，RocksDB 的配置也是极为复杂的，可调整的参数多达百个，没有放之四海而皆准的优化方案。如果仅考虑 Flink 状态存储这一方面，我们仍然可以总结出一些相对普适的优化思路。本文先介绍一些基础知识，再列举方法。
Flink RocksDB状态后端参数调优
LittleMagic's Blog
08-26 2526
Foreword 截至当前，Flink作业的状态后端仍然只有Memory、FileSystem和RocksDB三种可选，且RocksDB是状态数据量较大（GB到TB级别）时的唯一选择。RocksDB的性能发挥非常仰赖调优，如果全部采用默认配置，读写性能有可能会很差。但是，RocksDB的配置也是极为复杂的，可调整的参数多达百个，没有放之四海而皆准的优化方案。如果仅考虑Flink状态存储这一方面，我...
Flink状态后端性能调优:参数设置与最佳实践
AI天才研究院
05-25 660
Flink状态后端性能调优:参数设置与最佳实践 1.背景介绍 1.1 Flink状态管理概述 Apache Flink是一个开源的分布式流处理框架,广泛应用于实时数据处理、批处理和机器学习等领域。在流式处理中,Flink通
从一个案例研究 磁盘对Flink中RocksDB状态后端的影响
yscoder的博客
05-20 908
RocksDB是Flink中的一个状态后端，它允许作业的状态大于可用内存量，因为状态后端可以将状态溢出到本地磁盘。这意味着磁盘性能可能会影响使用RocksDB的Flink作业的性能。通过一个案例研究，本文说明了使用RocksDB的Flink作业的吞吐量下降问题，并演示了我们如何将底层磁盘的性能确定为根本原因。 作业和执行环境 我们处理的是一个典型的物联网（IoT）工作，它处理数百万台设备发出的事件流。每个事件都包含设备标识符（ID）、事件类型和生成事件时的时间戳。作业基于设备ID对流进行分区，并以状态存
Flink问题解决及性能调优-【Flink rocksDB读写state大对象导致背压问题调优】
weixin_38251332的博客
01-29 1860
RocksDB是Flink中用于持久化状态的默认后端，它提供了高性能和可靠的状态存储。然而，当处理大型状态并频繁读写时，可能会导致背压问题，因为RocksDB需要从磁盘读取和写入数据，而这可能成为瓶颈。
Flink性能调优步骤
最近开始研究AIGC领域技术，欢迎交流
09-17 361
kafka常用调优步骤
RocksDB的关键参数与优化方案
程序员小董的专栏
02-27 1536
默认情况下max_total_wal_size是0，系统会使用多个columnFamily的write_buffer_size* max_write_buffer_number的积相加。控制并发度： 当增大 min_write_buffer_number_to_merge 的值时，系统会允许更多的MemTable转换为Immutable MemTable而不立即进行Flush操作，这意味着可以在内存中累积更多的数据，提高并发写入性能，尤其是在高吞吐量场景下。单个memtable的最大大小，默认64MB。
[Flink项目优化] 资源配置调优
959
01-28 2298
[Flink项目优化] 资源配置调优
flink中配置Rockdb的重要配置项
lixia0417mul2的博客
11-17 1517
rockdb原理
RocksDB Java基本操作、乐观锁、事务及性能测试
HumorChen的博客
12-09 3745
基于Google的LevelDB改进而来，redis是基于内存的会存在丢失情况，而RocksDB不会丢失且性能极好（硬盘和SSD）。rocksdb是一款由Facebook使用C/C++开发的嵌入式的持久化的KV数据库。​ 1.对写性能要求很高，同时有较大内存来缓存SST块以提供快速读的场景；​ 2.SSD等对写放大比较敏感以及磁盘等对随机写比较敏感的场景；（线程安全需要用事务）建立连接，创建事务，对事务操作，提交事务，失败时回滚，最终关闭。​ 1.大value的场景，需要做kv分离；
rocksdb的基本操作
neuzhangno的博客
05-10 1643
基本操作 该库提供持久性键值存储。键和值是任意字节数组。键根据用户指定的比较器功能在键值存储中排序。rocksdb 打开数据库 数据库具有与文件系统目录相对应的名称。数据库的所有内容都存储在此目录中。下面的示例演示如何打开数据库，并在必要时创建数据库：rocksdb #include <cassert> #include "rocksdb/db.h" rocksdb::DB* db; rocksdb::Options options; options.create_if_m
rocksdb的设置选项和基本调整
neuzhangno的博客
05-10 1488
除了在 RocksDB 上使用基本操作编写代码外，您可能还对如何调整 RocksDB 以实现所需的性能感兴趣。在本页中，我们将介绍如何进行初始设置，该设置应该足以满足许多用例的需求。RocksDB 有许多配置选项，但其中大多数可以被许多用户安全地忽略，因为它们中的大多数都是为了影响非常特定的工作负载的性能。对于一般用途，大多数 RocksDB 选项可以保留为默认值，但是，我们建议在下面使用一些选项，每个用户都可能希望尝试使用常规工作负载。
WebCollector
qq_42847719的博客
12-29 1465
WebCollector也是一个基于Java的开源网络爬虫框架，其支持多线程、深度采集、URL维护及结构化数据抽取等。WebCollector项目的源码可以在GitHub上进行下载。相比于Crawler4j，WebCollector的可扩展性和适用性更强，如可以实现多代理的切换、断点采集和大规模数据采集。
Flink---12、状态后端（HashMapStateBackend/RocksDB）、如何选择正确的状态后端
星光不问赶路人，岁月不负有心人
10-08 2537
状态后端（HashMapStateBackend/RocksDB）、如何选择正确的状态后端
flink rocksdb调优
最新发布
05-17
### Flink 中 RocksDB 性能调优的最佳实践 #### 参数调优 在使用 Flink 的 RocksDB 状态后端时，可以通过调整多个参数来提升其性能。以下是几个重要的内存相关参数及其调优策略： - **`write_buffer_size`**: 这个参数控制了 RocksDB 写缓冲区的大小。较大的写缓冲区可以减少磁盘 I/O 次数，从而提高写入性能。然而，过大的值可能会占用过多内存资源。通常推荐设置为 `32MB ~ 128MB`[^1]。 - **`max_write_buffer_number`**: 定义了最多允许有多少个写缓冲区被填充并等待刷入磁盘。增加此数值可以在一定程度上缓解写放大问题，但也会消耗更多内存。建议将其设置为 `4~6`[^1]。 - **`block_cache_size`**: 块缓存用于加速读操作。合理的块缓存配置能够有效降低随机读取延迟。对于大多数场景来说，将该值设定为可用堆外内存的一半是比较理想的方案[^1]。 #### 并发线程优化 为了进一步改善 RocksDB 的吞吐能力，还需要关注后台线程的数量配置： - **`increase_parallelism`**: 此选项决定了用来执行 Flush 和 Compaction 的最大并发线程数目。由于这些任务属于计算密集型工作负载，在 CPU 资源充裕的情况下适当增大这个值有助于分摊压力。基于实际经验，可尝试将其调整到 `4` 左右[^3]。 #### 使用监控指标指导调优过程 除了手动修改各项参数之外，利用好 Flink 提供的各种内置监控工具同样重要。通过观察诸如状态大小、序列化成本以及异步快照耗时之类的度量信息，可以帮助我们更精准地定位潜在瓶颈所在之处[^2]。特别需要注意的是以下几个方面： - 如果发现 Checkpoint 时间过长，则可能是由于频繁触发 Full Snapshot 导致；此时应该考虑启用增量式 Checkpoints 或者重新评估 State TTL 设置。 - 当 RocksDB 的 Write Stall 发生频率较高时，表明当前硬件环境难以满足现有 workload 对于持久化的诉求。这时要么升级基础设施条件（比如更换更快 SSD），要么就是简化应用逻辑以减少不必要的更新动作。 #### 合理设计状态结构 最后一点也是最容易忽视却至关重要的一步 —— 即仔细审查应用程序中的状态定义方式。很多时候，仅仅依靠技术层面的微调并不能彻底解决根本性难题。因此务必确保只保留那些确实必要的字段作为 Key/Value 存储单元，并且尽量采用紧凑高效的编码格式来进行序列化处理[^4]。 ```java // Java 示例代码展示如何自定义 RocksDB OptionsFactory 来实现上述提到的部分参数调节功能 public class CustomRocksDBOptionsFactory implements org.apache.flink.contrib.streaming.state.RocksDBStateBackend.OptionsFactory { @Override public ColumnFamilyOptions createColumnOptions() { BlockBasedTableConfig tableConfig = new BlockBasedTableConfig(); // 设置 block cache size (假设总共有 2GB 堆外内存可供分配给 RocksDB) long totalOffHeapMemoryInBytes = 2L * 1024 * 1024 * 1024; int numCf = ...; // 实际列族数量 double cfMemFraction = Math.min(0.5, ((double)(totalOffHeapMemoryInBytes / numCf)) / (1 << 30)); long blockSizeCacheSizePerCF = (long)((cfMemFraction * totalOffHeapMemoryInBytes) >> 1); tableConfig.setBlockCache(new LRUCache(blockSizeCacheSizePerCF)); // 其他表级属性... return new ColumnFamilyOptions().optimizeLevelStyleCompaction() .setWriteBufferSize(128 * 1024 * 1024); // write buffer size 设定为 128 MB } @Override public DBOptions createDBOptions(DBOptions currentOptions) { return currentOptions.increaseParallelism(4).useFsync(false); } } ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值