技术译文 | How Can ScaleFlux Handle MySQL Workload?

别再手动拆解字节了!用博图这个功能指令,5分钟搞定ARRAY转BOOL数组 本文详细介绍了西门子博图中`ARRAY_TO_BOOL`功能指令的高效应用,帮助工程师快速实现ARRAY到BOOL数组的转换。通过实战案例和参数配置指南,展示了如何5分钟内完成传统方法需半小时的任务,大幅提升PLC编程效率,特别适用于通信报文解析和设备状态监控。 阅读详情

本文是一篇译文,介绍 Percona 的工程师对 ScaleFlux 的性能压测报告
翻译:杨奇龙
原文地址:https://www.percona.com/blog/2020/08/06/how-can-scaleflux-handle-mysql-workload/

最近作者有一个针对 ScaleFlux 的产品也叫做 CSD 2000 进行压测的机会. 本文中作者将介绍使用 Intel SSD 和 ScaleFlux 存储设备进行压测的对比结果。

一 我们为什么需要不一样的 ScaleFlux?

答案很简单 它为我们提供了内置的压缩功能和支持原子写特性。对于很多工作场景尤其是数据库类型的业务而言,这些功能和特性非常重要。

因为内置的磁盘压缩功能 相同的磁盘容量,我们可以存储更多的数据在 ScaleFlux 存储设备上。(引申:大规模数据存储的情况下 耗费的机器数量更少,机架位也更少。)

作者基于不同的数据集大小,不同数据库 schema 数据量进行多次测试。需要说明的是在这些测试场景中我并不打算压测这些卡的性能极限,而是对比相同容量下 ScaleFlux 存储设备和 Intel SSD 的性能表现。

存储设备配置:
ScaleFlux – CSD 2000 4TB
Intel –  P4610 3.2TB

服务器配置:
Application server: Supermicro; SYS-6019U-TN4RT
48xIntel(R) Xeon(R) Gold 6126 CPU @ 2.60GHz
190G RAM
Database Server: Inspur; SA5212M4
32xIntel(R) Xeon(R) CPU E5-2640 v3 @ 2.60GHz
64G RAM

在 Application server 运行 sysbench 压测工具,在 Database Server 运行 Percona Server for MySQL 8.0.19 。

作者禁用了 binary, slow query logging 和 adaptive hash,使用比较小的 BPS 配置,为了减少数据缓存,尽量让 sql 请求访问磁盘。另外就是测试了关闭和开启 doublewrite 的性能表现 。

数据库的配置如下:

innodb_buffer_pool_size=8G
innodb_log_file_size = 2G
max_connections=500
slow_query_log=off
disable_log_bin
innodb_doublewrite=ON/OFF
tmpdir = /var/lib/mysql/
innodb_adaptive_hash_index=off
innodb_flush_method=O_DIRECT
innodb_purge_threads=32
sync_binlog=0
max_prepared_stmt_count=4000000

做了哪些测试

首先作者做了标准的 OLTP read_only, write_only, 和 read-write 测试,然后作者修改分表结构

CREATE TABLE `sbtest1` (
  `id` int NOT NULL AUTO_INCREMENT,
  `k` int NOT NULL DEFAULT '0',
  `c` char(120) NOT NULL DEFAULT '',
  `pad` char(60) NOT NULL DEFAULT '',
  `data1` varchar(255) DEFAULT NULL,
  `data2` varchar(255) DEFAULT NULL,
  PRIMARY KEY (`id`),
  KEY `k_1` (`k`),
  KEY `idx_data1` (`data1`)
) ENGINE=InnoDB AUTO_INCREMENT=9999948 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci

新增加了 data1 和 data2 两个 varchar 字段,使用一本书(Gutenberg project)中的内容行记录进行填充。

为什么这样做? 因为这也是 ScaleFlux 的优势之处,他们声称如果数据可以被压缩,那么 ScaleFlux 将比 Intel 的性能要好很多。

作者还修改了OLTP lua 脚本来适配新的表结构

index_updates = {
      "UPDATE %s%u SET k=?,data1=? WHERE id=?",
      t.INT,{t.CHAR,255},t.INT},

   non_index_updates = {
      "UPDATE %s%u SET c=?,data2=? WHERE id=?",
       {t.CHAR,120},{t.CHAR,255},t.INT},

   inserts = {
      "INSERT INTO %s%u (id, k, c, pad, data1, data2) VALUES (?, ?, ?, ?, ?, ?)",
      t.INT, t.INT, {t.CHAR, 120}, {t.CHAR, 60}, {t.CHAR,255}, {t.CHAR,255}},

   index_selects = {
      "SELECT id,data2 FROM %s%u WHERE data1=?",
      {t.CHAR,255}},

   update_based_on_data1 = {
      "UPDATE %s%u SET data2=? WHERE data1=?",
       {t.CHAR,255},{t.CHAR,255}},

压测的配置如下:

default lua scripts – 100 tables – 10ML rows each – 220G

default lua scripts – 1000 tables – 10ML rows – 2.3T

modified lua scripts – 100 tables – 10ML rows each – 440G

modified lua scripts – 540 tables – 10ML rows each – 2.5T

modified lua scripts – 540 tables – 20ML rows each – 4.7T

talk is cheap,我们来看看结果对比图吧

Default Sysbench – Read/Write – 220G Datasize


在默认配置下,使用 100 张表,每个表 100w 条记录,数据集大小为 220G。从结果图中我们可以看到 Intel SSD 略微领先。ScaleFlux 存储设备在并发度为 96 之后有领先的优势。

需要说明都是 ScaleFlux 支持原子写,所以作者关闭了 InnoDB Double Write Buffer。而针对 Intel SSD 不支持原子写,InnoDB Double Write Buffer 是开启的。

Modified Sysbench – Read/Write – 440G Datasize

该场景下,作者使用了添加 2 个字段的压测模型。数据量扩大到 440G,而且使测试数据适合压缩。

从压测结果上看,和 ScaleFlux 声明的一样,在数据可压测的情况下,MySQL 在 ScaleFlux 设备上的性能明显优于 Intel SSD ,在高并发场景下,性能优势明显。
再次说明 Intel SSD上的 MySQL 未关闭 InnoDB Double Write Buffer,而是用 ScaleFlux 设备的 MySQL 是关闭了 InnoDB Double Write Buffer 的。

我们来看一下 Intel SSD 的 MySQL 也关闭 InnoDB Double Write Buffer 的测试结果

在同时开启或者关闭 Double Write 特性的对比测试中,是用 ScaleFlux 存储设备的 MySQL 都表现比较明显。

需要注意的是,我们不推荐在任何不支持原子写的设备上关闭 InnoDB Double Write 。

Modified Sysbench – Read/Write – 2.5T Datasize

两个设备都有 3.2T 的存储容量,作者压测的数据使用了 2.5T 。作者使用修改的表结构 重建了 sysbench 的表。从结果上来看 ScaleFlux 存储设备上的 MySQL 性能优势比较明显。一个影响性能的因素是 SSD 存在写放大。当数据量达到一定容量比例,SSD 会进行类似垃圾回收的任务,耗费资源,影响 SSD 的写能力。

Disk Latency


从图中可以查看到 ScaleFlux 存储设备 的响应时间非常稳定而 Intel 设备的响应时间则波动比较大。

CPU Usage
ScaleFlux – Read/Write – Modified Sysbench – 540 tables – 2.5T

Intel – Read/Write – Modified Sysbench – 540 tables – 2.5T


我们可以看到 Intel 设备的 iowait 比较高 31.52% ,而ScaleFlux 设备的 iowait 则是 11.46%,明显低于 Intel 设备。

Disk Operations

从系统层的监控数据来看测试期间的 IOPS 表现。ScaleFlux 存储设备提供更高的 IOPS 大约是 Intel 的 2 倍。 更高的 IOPS 意味着 MySQL 的QPS/TPS 更高,性能更好。下面的图也说明了这一点。

InnoDB Row Operations


从上面这张图中我们看到 Innodb 层的统计数据,每分钟 inserted/updated/deleted 多少行记录。

因为 InnoDB 关闭了 double write,使用 ScaleFlux 存储设备的 MySQL 写性能是 Intel 的接近两倍。

结论

根据作者的测试,ScaleFlux 存储没有半点水分,言行一致。如果数据量越大而且数据的可压缩性越好,性能效果则越好。需要特别说明的是 从第一次测试的结果来看,数据集比较小而且数据不可压缩的情况下 Intel SSD 存储的优势还是比较明显的(其实价格 也比较低)。

想要获取更详细的压测报告 可以点击原文:https://learn.percona.com/hubfs/Collateral/Whitepapers/Testing-the-Value-of-ScaleFlux.pdf

如何正确的计算两个角度的角度差? 这一步是必要的,因为它确保了无论a相对于b是在逆时针方向还是顺时针方向,d2总是正确地反映出绕圆相反方向的角度差。这样,当函数进行最后的比较时,它能够准确地比较两个方向的旋转路径并选择最短的一个。 阅读详情

相关推荐

vue3的面试题

vue3的面试题

jiang7701037的博客 6264

ScaleFlux(锐钲)发布CSD5000企业级固态硬盘, 开启AI时代存储新篇章

ScaleFlux(锐钲)宣布推出最新的CSD5000系列NVMe固态硬盘,专为解决人工智能、云计算和数据中心的瓶颈问题而设计。CSD5000基于FX5016 PCIe 5 SSD控制器,在数据可压时提供14GB/s的读取速度、13GB/s的写入速度、320万次的随机读取和120万次的随机写入。它的容量最高可达256TB,并且具备优异的功耗效率。此次发布正值ScaleFlux(锐钲)成立十周年,标志着十年的创新发展。

Em_725的博客 1598

低代码Agent开发框架使用指南(二)—Coze平台核心功能概览

本篇分享系统介绍了字节跳动推出的低代码智能体开发平台Coze。Coze以免费易用、多模型支持和便捷的跨平台发布为核心优势,显著降低了智能体开发门槛。文章详细解析了平台的六大核心功能:扩展能力边界的插件系统、增强认知的知识库、结构化数据管理的数据库、可视化图像处理的图像流、实现复杂逻辑编排的工作流,以及处理复杂任务的多智能体协作机制,全面展现了Coze平台的强大能力。

weixin_42782643的博客 1358

腾讯云和 ScaleFlux 联合推出可计算存储与大容量 QLC NAND 解决方案

通过压缩来提升读写性能,提高稳定性和 SSD 寿命,让企业在成本,性能,安全之间找到最佳的平衡,打破传统存储的限制,为企业降低一半以上的存储成本,使企业不再为日益增长的数据存储担心,可以投入更多的精力到产品研发和业务发展中,真正做到降本增效。下图展示了在标准写放大测试下压缩能带来的收益:企业级 7.68TB 的 CSD2000 NVMe QLC SSD 设备处于 1:1 的数据压缩比时,写放大因子为 4.83,当数据压缩比为 2:1 时,写放大因子为 0.55,写放大降低 89%。请登录官网咨询更多信息。

Em_725的博客 589

【算法】图解A* 搜索算法

A* 算法是启发式搜索算法,是根据Dijkstra算法改进而来。 问题引入 如下图所示,S为起始(start)节点,G为目标(goal)节点。 节点之间连线是两点的路径长度,如A到E的路径长度c(A,E) = 9。 节点旁的h值时当前节点到达目标节点(G)的预估值,如h(A)=15, 表示从当前点A到达目标点G的估计路径长度为15,此处h(x)即为启发函数,启发函数的设计有很多方法,具体可......

zhuhua造轮子的博客 4万+

【VeriStand】从零构建HIL测试平台:核心概念、硬件选型与实战配置指南

本文详细介绍了如何从零构建HIL测试平台,涵盖核心概念、硬件选型与实战配置指南。重点解析了VeriStand生态系统的优势,包括开箱即用特性、与LabVIEW的黄金搭档配合及Python支持。通过实战案例和硬件选型建议,帮助工程师高效搭建可靠的HIL测试平台,提升测试效率与安全性。

weixin_29250573的博客 329

ScaleFlux 可计算SSD 在AI场景下的持续性和能效问题

ScaleFlux的产品副总裁JB Baker指出,通过结合计算存储功能的SSD等解决方案优化存储、内存与GPU之间的管道,对于企业实现能效和能源可持续性目标至关重要。ScaleFlux的创新SSD技术不仅提升了数据处理速度和效率,而且通过优化数据路径,帮助企业在不牺牲性能的前提下实现更环保的IT架构。通过将计算能力融入存储设备,ScaleFlux在推动AI技术发展的同时,也响应了对可持续性和能效提升的迫切需求,引领了新一代数据处理和存储解决方案的发展趋势。### 数据中心的演变与挑战。

存储随笔 856

长安车机破解后能干啥?分享我的UNI-K车机安装第三方应用与优化体验实录

本文详细记录了长安UNI-K车机破解后的实用玩法与深度优化指南,包括安装第三方应用、导航体验升级、影音系统改造及系统美化等。通过工具箱和升级技巧,车主可以大幅提升用车体验,解锁更多隐藏功能。

weixin_33217202的博客 405

ScaleFlux ECC技术:重塑DRAM可靠性的未来基石

ScaleFlux的ECC技术不仅提升了DRAM的可靠性,还通过接纳可靠性较低但成本更低的DRAM芯片,降低了数据中心运营商的总拥有成本(TCO),同时增强了对恶意DRAM RowHammer攻击的免疫力,提升了数据中心的安全性。1. **提升DRAM可靠性和安全性**:ScaleFlux的ECC技术极大增强了DRAM的容错能力,使得数据中心能够在不牺牲性能的前提下,采用成本更低、可靠性稍逊的DRAM芯片,从而降低了总体拥有成本(TCO),同时增强了对恶意RowHammer攻击的抵抗力,提升了系统安全性。

存储随笔 1144

ATE自动化测试设备:硬件与软件的完美协同

本文深入解析了ATE自动化测试设备如何通过硬件与软件的完美协同,实现高效、精准的电子产品测试。文章详细阐述了ATE系统的硬件架构(如测试控制器、仪器模块、开关矩阵)与软件层次(如测试管理、仪器控制、数据分析),并结合实战案例,揭示了软硬件协同设计在提升测试效率与可靠性中的关键作用。

weixin_29218509的博客 168

AB SCIEX质谱数据分析实战:从PeakView入门到精通

质谱分析是现代生命科学和药物研发中不可或缺的核心技术,它通过测量离子的质荷比来鉴定和定量化合物。其基本原理是将样品离子化后,在电场和磁场中按质荷比分离,最终形成质谱图。这项技术的核心价值在于能够从复杂混合物中高灵敏度、高特异性地获取化合物的定性和定量信息,广泛应用于代谢组学、蛋白质组学、环境监测和药物分析等领域。在实际工作中,高效的数据处理平台至关重要。以AB SCIEX质谱仪生成的.wiff文件为例,其原始数据需要专业软件进行解析。PeakView软件正是这样一个综合平台,它集成了高级数据处理、谱图解析和

weixin_29053577的博客 308

可计算存储技术全面升级CSD 3000存储体验

ScaleFlux的计算存储技术可以赋能SSDs,释放CPU进行更高价值的工作,延长使用寿命,并提高整体性能。ScaleFlux的CSD 3000采用了针对闪存存储优化的处理方式,在数据写入时进行透明压缩,并在数据读取时进行无缝解压缩,减轻了CPU的负担。得益于透明压缩技术,在相同的物理存储容量下CSD 3000可以存储更多的数据(最高达4倍),从而提高存储效率和节省存储空间。

Em_725的博客 526

爬虫瑞数5.5案例:欧冶钢材交易官网,带后缀K5nOZLud(面向对象补环境)

瑞数动态安全 Botgate(机器人防火墙)以“动态安全”技术为核心,通过动态封装、动态验证、动态混淆、动态令牌等技术对服务器网页底层代码持续动态变换,增加服务器行为的“不可预测性”,实现了从用户端到服务器端的全方位“主动防护”,为各类 Web、HTML5 提供强大的安全保护。由于之前某通信的瑞数已经调整,这里再出一篇文章,瑞数特点以及请求执行的流程已在之前的文章中分析过,这里不再特别讲解;

老衲爱洗头的博客 3043

ScaleFlux助力企业实现亿级存储成本节约!

闪存价格的持续上涨使得全球信息基础设施面临空前的成本压力。通过将可用存储容量直接翻倍,ScaleFlux的透明压缩技术将助力客户在成本控制上取得战略性优势。

Em_725的博客 1374

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

活动预告 | openGauss创新实践课将走进广东工业大学

...

openGauss的博客 213

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

ScaleFlux压缩存储产品通过 PolarDB-PG社区版和PolarDB-X 开源版认证

ScaleFlux压缩存储产品通过 PolarDB-PG社区版和PolarDB-X 开源版认证 ,助力数据库技术发展。

Em_725的博客 331

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

Geminit 0612

入职新公司面对陌生的架构(特别是从主控前端 Host 端转到涉及压缩、芯片后端交互的 B2N 模块),感到焦虑和模糊是非常普遍且完全正常的。你拥有浪潮 3 年 IO Data Path 的经验,这其实是巨大的优势,因为你对的核心逻辑是完全相通的。

qq_44148259的博客 505

ScaleFlux赋能云服务商,助力企业释放数据价值

数据正在成为企业最重要的资产,ScaleFlux致力于帮助客户利用数据增长作为竞争优势,通过构建产品来降低复杂性并加速从数据中创造价值。此前,ScaleFlux合作Hewlett Packard Enterprise 和 Aerospike 设计了一个高性能、高效益的数据解决方案,用来满足大规模实时数据访问的需要,助力企业从数据中获取价值, 从而推动创新服务并优化客户体验。

Em_725的博客 503

ScaleFlux入选CRN【2025存储百强】榜单

,其智能的存储解决方案在应对海量数据挑战方面独树一帜,并充分体现了团队在性能、效率与创新方面的卓越追求。无论是重新定义 SSD 的能力,亦或帮助客户优化基础架构战略,我们都将继续突破存储技术的边界。在此,谨向所有客户、合作伙伴及为此付出卓越贡献的团队成员致以诚挚的谢意。让我们携手并进,共同构建数据的未来。我们非常荣幸地宣布,ScaleFlux 荣获CRN评选的 2025 年度存储领域最具创新力与前瞻性的企业之一,成功入选备受瞩目的“2025 存储百强 (

Em_725的博客 405

存储之于AI,让算力真正释放价值。

ScaleFlux聚焦AI存储性能优化,通过计算存储架构创新解决AI工作负载的I/O瓶颈。其CSD系列采用透明压缩和智能数据路径技术,显著提升写入效率、读取性能和延迟一致性,成为MLPerf等基准测试的首选方案。该技术已助力Expontech等企业在AI训练中实现突破,单节点支持700+GPU。作为计算存储先行者,ScaleFlux通过优化存储交互降低TCO,确保AI系统从数据准备到推理的全流程高效运行,推动行业突破硬件限制释放AI潜能。

Em_725的博客 1085

【图文详解】一文全面彻底搞懂HBase、LevelDB、RocksDB等NoSQL背后的存储原理:LSM-tree日志结构合并树...

LSM 树广泛用于数据存储,例如 RocksDB、Apache AsterixDB、Bigtable、HBase、LevelDB、Apache Accumulo、SQLite4、Tarantool、WiredTiger、Apache Cassandra、InfluxDB和ScyllaDB等。在这篇文章中,我们将深入探讨 Log Structured Merge Tree ,又名 LSM 树:许多高...

AI天才研究院 1万+

应用示例荟萃|全方位认识 mysql 系统库

在上一期《日志记录等混杂表|全方位认识 mysql 系统库》中,我们详细介绍了mysql系统库中的日志记录表,本期我们将为大家带来系列第九篇《应用示例荟萃|全方位认识 mysql 系统库...

老叶茶馆 552

mysql optimize 参数查看_Mysql High Performance:Optimize Setting

Tuning I/O1. 影响同步数据到disc和恢复数据,因为涉及到了io,对性能影响非常大,其实是在性能与数据安全性上找一个平衡2. MyISAMdelay_key_write:延缓index写入discOFF:除非table使用LOCK TABLE锁了,每次对key buffer的修改都flush到discON:可以延迟写,需要index建立时声明DELAY_KEY_WRITEALL:所有的...

weixin_42500279的博客 292

可计算存储: 透明压缩,数据库IO模型和SSD寿命

来源:公众号 ScaleFlux未来时速what Andy giveth, Bill taketh away.每次英特尔提供更强大的计算能力,微软都能吃干抹净。1990诞生的 Andy...

老叶茶馆 797

mysql intel ssd_MySQL 基于ScaleFlux SSD性能测试

一 我们为什么需要不一样的ScaleFlux?答案很简单 它为我们提供了内置的压缩功能和支持原子写特性。对于很多工作场景尤其是数据库类型的业务而言,这些功能和特性非常重要。因为内置的磁盘压缩功能 相同的磁盘容量,我们可以存储更多的数据在 ScaleFlux 存储设备上。(引申 大规模数据存储的情况下 耗费的机器数量更少,机架位也更少。)作者基于不同的数据集大小,不同schema数据量进行多次测试。...

weixin_39599317的博客 496

计算型存储:异构计算的下一个关键应用

AWS re:Invent2019显示AWS市场占用率达到45%,相比2018年营收增长29%。使用专用芯片构建用于加速特定场景的战略更加清晰,除去Intel和AMD的X86和Nvidi...

Enmotech的博客 717
上一篇: 第01期:一文了解 ClickHouse
下一篇: 技术译文 | MySQL 8 需要多大的 innodb_buffer_pool_instances 值(上)
爱可生开源社区
博客等级 码龄8年 1936粉丝 1004原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值