flink 性能压测

最新推荐文章于 2025-11-13 07:21:51 发布
原创 最新推荐文章于 2025-11-13 07:21:51 发布 · 4.2k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#flink #sql #java

这篇博客探讨了Kafka在大数据场景下的性能表现。通过200并发的压测，Kafka实现了5万TPS的正常吞吐，并且在特定设置下，吞吐量能提升至30万TPS。此外，测试显示Kafka稳定写入性能达到250MB/s，满足了高吞吐的需求。

1、维表关联性能，最高吞吐，可以通过并行度和kafka的吞吐测出相关性能,如下图压测性能，200并发，tps正常在5w左右。

2、之前kafka吞吐最高能达到90MB/s的输入，所以压测要达到两倍的性能，也就是200mb

3、以下是同样的并行度，通过设置任务延迟，消费五个小时的数据, 来实现相关性能压测，200并发，最高吞吐tps能达到30w左右

4、kafka的压测性能如下，写入稳定在250mb左右，达到要求：

flink造压测数据到hbase
yy的博客
09-10 712
flink hbase mockdata mock数据 造数据 压测
Flink实时计算大促压测实践
huzechen的博客
11-10 1379
一、背景： 临近双11大促，为避免流量峰值较高，电商公司都会对系统进行压测。一直做实时数据计算，应用是基于Flink做的，接收kafka消息，进行数据统计，包括：pv、uv、dau、单量、成交额等等。 为了保证应用在大促期间不出问题，需要进行实时计算程序进行压测。由于统计的数据分为两类(流量数据、订单数据)，对这两类数据进行不同方式的压测。 二、压测准备 (1)压测时间选择：一般...
Flink压测和监控
kankan_s的专栏
09-05 1099
根据特定需求，您还可以编写自定义监控脚本或使用第三方监控工具来监视 Flink 作业的各个方面。
Flink CDC任务性能基准测试：建立同步效率评估标准
最新发布
gitblog_00263的博客
11-13 1057
Flink CDC（Change Data Capture）是Apache Flink生态系统中用于实时数据同步的重要组件，它能够高效捕获数据库变更并将数据实时同步到目标系统。本文将深入探讨如何建立Flink CDC任务的性能基准测试标准，帮助开发者和数据工程师评估和优化数据同步效率。 ## 📊 为什么需要性能基准测试？ 在数据同步场景中，性能是衡量Flink CDC任务成功与否的关键指标。
kafka压测
song_quan_的博客
02-22 1733
实时ETL流程测试 文档编号 版本号 V1.0 名称 实时ETL流程测试文档 总页数 正文 编写日期 审批 目录 1. 测试目的 本次测试主要对基于Flink的实时ETL系统各个环节跑通 测试各个组件功能可用性 测试数据一致性、实时性、完整性 2. 测试方法 采用python脚本模拟生成数据，通过Kafka作为消息队列，Flink完成实时抽取转换，输出数据到HDFS 测试过程主要分为以下3
数据不撒谎，Flink-Kafka性能压测全记录！
微信搜：import_bigdata，大数据领域硬核原创作者
08-23 6016
本文作者来自本号的粉丝：林夕_Yume，作者微信：wxid_nvd5wwng4v2i22欢迎大家关注他的简书：https://www.jianshu.com/u/3fa2...
flink cep 性能测试
poq_pow的专栏
05-04 4639
说明：测试flink-cep的性能，采用控制变量法。 其中在Flink Stream上控制的变量为： restartAttempt：尝试恢复的次数 checkpoint：多长对数据做一次checkpoint StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); env.
hibench 压测flink_使用 Hibench 对 Spark 进行基准测试
weixin_31809171的博客
01-14 1013
概述Hibench 是 Intel 开源的大数据基准测试工具，可以评估不同大数据框架的速度，吞吐量和系统资源利用率。包括 Sort, WordCount, TeraSort, Sleep, SQL, PageRank, Nutch indexing, Bayes, Kmeans, NWeight 和 enhanced DFSIO等，还支持流任务的基准测试，例如 Spark Streaming, F...
hibench 压测flink_kafka-flink性能测试规划（上）
weixin_34310322的博客
02-01 1275
1.压测方案1.1 压测目的本次性能测试在正式环境下单台服务器上Kafka处理MQ消息能力进行压力测试。测试包括对Kafka写入MQ消息和消费MQ消息进行压力测试，根据不同量级的消息处理结果，评估Kafka的处理性能是否满足项目需求(该项目期望Kafka能够处理上亿级别的MQ消息)。1.2 测试范围及方法1.2.1 测试范围概述测试使用Kafka自带的测试脚本，通过命令对Kafka发起写入MQ消息...
评估和优化Flink应用程序的性能，如何保证系统稳定？
wjianwei666的专栏
05-07 893
对于更复杂的测试场景，可以实现自定义的数据生成器。// 创建一个具有突发特性的数据源return new。
flink-cep-perf:测试带窗口pattern性能
04-30
#Pattern 性能测试 测试环境 flink 版本：1.4.2 cpu：Intel(R) Core(TM) i7-4790K CPU @ 4.00GHz 内存：16G （分配给flink的） 测试背景 控制pattern的输出为1% 典型pattern测试 n分钟m次构造测试程序 Q：怎么控制pattern的输出为1%？ A：先确定pattern 的次数设置阈值是多少，然后，阈值 * 100 * 事件发送间隔时间（5s) 即为异常事件插入时间间隔。即，每发送100个事件后连续插入异常事件，插入异常事件个数大于设定的阈值。需要注意的是，设定事件次数的阈值 * 事件发送间隔时间需要小于等于窗口时间，否则pattern不会触发。 pattern代码 Pattern<JSONObject> pattern = Pattern.<JSONObject>begin("
java8stream源码-Flink:测量Flink的性能并定制Yarn
06-04
java8流源码Apache Flink Apache Flink 是一个开源的流处理框架，具有强大的流处理和批处理能力。 了解更多关于 Flink 的信息 特征 支持批处理和数据流程序的流优先运行时 Java 和 Scala 中优雅流畅的 API 同时支持非常高的吞吐量和低事件延迟的运行时 基于Dataflow 模型，支持 DataStream API 中的事件时间和乱序处理 跨不同时间语义（事件时间、处理时间）的灵活窗口（时间、计数、会话、自定义触发器） 具有完全一次处理保证的容错 流媒体程序中的自然背压 图处理（批处理）、机器学习（批处理）和复杂事件处理（流）库 数据集（批处理）API 中对迭代程序 (BSP) 的内置支持 自定义内存管理，可在内存和核外数据处理算法之间进行高效、稳健的切换 Apache Hadoop MapReduce 和 Apache Storm 的兼容层 与 YARN、HDFS、HBase 和 Apache Hadoop 生态系统的其他组件集成 流媒体示例 case class WordWithCount ( word : String , count :
性能测试报告（低配版）
10-14
低级测试员的，走过路过不要错过
Flink实时大数据处理性能测试
AI天才研究院
01-18 1563
1.背景介绍 Flink是一个开源的流处理框架，用于实时大数据处理。它可以处理大量数据，提供低延迟和高吞吐量。Flink的性能测试是一项重要的任务，可以帮助我们了解其在实际应用中的表现。在本文中，我们将讨论Flink实时大数据处理性能测试的背景、核心概念、算法原理、代码实例、未来发展趋势和挑战。 1.1 Flink的发展历程 Flink起源于2010年，由德国技术大学(TU Berlin)的...
Flink背压原理以及解决优化
诸葛子房的博客
10-22 7092
由于进行双11压测，遇到了Flink的背压问题。 1.背压的监控 如果看到任务的背压警告（如 High 级别），这意味着生成数据的速度比下游算子消费的的速度快。以一个简单的 Source -> Sink 作业为例。如果能看到 Source 有警告，这意味着 Sink 消耗数据的速度比 Source 生成速度慢。Sink 正在向 Source 施加反压。 许多情况都会导致背压。例如，G...
【亲测免费】 Apache Flink 性能测试基准
gitblog_01296的博客
10-18 635
Apache Flink 性能测试基准 项目基础介绍与编程语言 Apache Flink Benchmarks 是由 Apache 软件基金会维护的一个开源项目，主要用于评估和测试 Flink 在单机环境下的性能表现。此项目采用 Java 作为主要编程语言，利用 JMH（Java Microbenchmark Harness）框架来设计并执行一系列微基准测试，帮助开发者理解和衡量代码变更对 Fli...
Flink入门(十四)大job的StateBackend压力测试
baifanwudi的专栏
06-19 1735
最近有这样需求，两个topic消息interval-join。 其中一个topic是，展示列表的详细信息（曝光），大约20分钟，有100G大小（主要从服务端发送）； 另外一个topic是，用户操作列表（点击、下单），由前端发送，数据很少，大约10分钟几十M，action表示操作， itemId表示方案的唯一标识符，itme表示操作时间，unionId表示用户唯一标识符。 {"action":"cl...
Flink Vs Storm性能测试
yuchuanchen的专栏
03-12 2441
吞吐和延时是实时流处理的两个重要指标，本次性能测试也围绕这两个指标进行。 测试环境 集群单个机器参数 测试集群共3个机器，每个机器配置如下： 参数项 参数值 CPU Intel® Xeon® CPU E5-2430 v2 @ 2.50GHz core 24 Memory 125G OS CentOS Linux release 7.2.1511 (Core) 网卡 ...
Flink性能测试case案例
微信公众号：大数据从业者
10-29 407
在我们做测试之前，调研了一些已有的大数据平台性能测试报告，比如，雅虎的Streaming-benchmarks，或者Intel的HiBench等等。除此之外，还有很多的论文也从不同的角度对分布式计算平台进行了测试。虽然这些测试case各有不同的侧重点，但他们都用到了同样的两个指标，即吞吐和延迟。吞吐表示单位时间内所能处理的数据量，是可以通过增大并发来提高的。延迟代表处理一条数据所需要的时间，与吞...
flink怎么做压测
07-28
对于 Flink 的压测，可以采取以下步骤： 1. 准备测试环境：确保测试环境具备足够的资源，包括计算资源、存储资源和网络带宽等。建议在一个独立的集群上进行压测，以避免对生产环境造成影响。 2. 设计测试场景：...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值