PolarDB-X 1.0和RDS性能对比之慢DML(跑批)

本文通过测试比较了PolarDB-X+RDS分库分表与直连RDS执行DML操作的性能。在1亿数据量的场景下,直连RDS更新78条记录耗时5分钟43秒,而PolarDB-X+RDS仅用1分钟13秒,显示了分布式数据库在处理大规模数据时的效率优势。虽然PolarDB-X在CPU使用上可能更高,但其IO消耗较低,并能有效分摊负载。

测试环境:

PolarDB-X 标准版:16C64G(1台)

RDS MySQL5.7: 4C8G(4台)

ECS 压测机: 8C16G(1台)

RDS测试表 单表1亿,PolarDB-X +RDS x4分库分表,单表1亿

直连RDS:

MySQL [sysbenchtest]> show create table sbtest1;
+---------+----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| Table   | Create Table                                                                                                                                                                                                                                                   |
+---------+----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| sbtest1 | CREATE TABLE `sbtest1` (
  `id` int(10) unsigned NOT NULL,
  `k` int(10) unsigned NOT NULL DEFAULT '0',
  `c` char(120) NOT NULL DEFAULT '',
  `pad` char(60) NOT NULL DEFAULT '',
  KEY `xid` (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 MAX_ROWS=1000000 |
+---------+----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
1 row in set (0.00 sec)
MySQL [sysbenchtest]> explain update sbtest1 set k=100 where k=49910688;
+----+-------------+---------+------------+------+---------------+------+---------+------+----------+----------+-------------+
| id | select_type | table   | partitions | type | possible_keys | key  | key_len | ref  | rows     | filtered | Extra       |
+----+-------------+---------+------------+------+---------------+------+---------+------+----------+----------+-------------+
|  1 | UPDATE      | sbtest1 | NULL       | ALL  | NULL          | NULL | NULL    | NULL | 98517160 |   100.00 | Using where |
+----+-------------+---------+------------+------+---------------+------+---------+------+----------+----------+-------------+
1 row in set (0.00 sec)
MySQL [sysbenchtest]> 
MySQL [sysbenchtest]> update sbtest1 set k=100 where k=49910688;
Query OK, 78 rows affected (5 min 43.04 sec)
Rows matched: 78  Changed: 78  Warnings: 0

直连RDS更新78条记录,单表1亿,执行了5min43s。

查看监控CPU消耗:

查看监控IO消耗:

PolarDB-X +RDS x4分库分表:

MySQL [polardb2]> show create table sbtest1;
+---------+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| Table   | Create Table                                                                                                                                                                                                                                                                                                                                    |
+---------+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| sbtest1 | CREATE TABLE `sbtest1` (
	`id` int(11) NOT NULL AUTO_INCREMENT BY GROUP,
	`k` int(11) NOT NULL DEFAULT '0',
	`c` char(120) NOT NULL DEFAULT '',
	`pad` char(60) NOT NULL DEFAULT '',
	KEY `id` (`id`)
) ENGINE = InnoDB AUTO_INCREMENT = 99999875 DEFAULT CHARSET = utf8mb4  dbpartition by hash(`id`) tbpartition by hash(`id`) tbpartitions 4 |
+---------+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
1 row in set (0.04 sec)
MySQL [polardb2]> update sbtest1 set k=100 where k=49910688;
Query OK, 78 rows affected (1 min 13.94 sec)

PolarDB-X +RDS x4分库分表只用了1min13s就查询完毕。

查看监控CPU使用情况:

查看监控IO消耗:

总结:

        对于慢DML(跑批), PolarDB-X +RDS执行过程中CPU使用率要高一些,IO资源消耗低一些,但是由于数据分布在4个RDS节点,总体耗时较短。

PolarDB-MySQL 是阿里云提供的一种兼容 MySQL 协议的关系型数据库服务。连接 PolarDB-MySQL 实例时,连接字符串格式通常遵循标准的 JDBC 或 MySQL 客户端连接格式,具体取决于使用的编程语言驱动程序。 ### JDBC 连接字符串格式 对于 Java 应用程序,使用 JDBC 驱动程序连接 PolarDB-MySQL 时,连接字符串格式如下: ```java jdbc:mysql://<host>:<port>/<database>?user=<username>&password=<password>&<other-properties> ``` 其中: - `<host>`:PolarDB-MySQL 实例的主机地址,通常为实例的访问端点(Endpoint)。 - `<port>`:数据库服务监听的端口号,默认为 `3306`。 - `<database>`:要连接的数据库名称。 - `<username>`:用于连接数据库的用户名。 - `<password>`:用户的密码。 - `<other-properties>`:可选的连接参数,例如 `useSSL`、`characterEncoding` 等。 例如: ```java jdbc:mysql://polardb-mysql-instance1.rds.aliyuncs.com:3306/mydb?user=myuser&password=mypassword&useSSL=false ``` ### MySQL 命令行连接格式 如果使用 MySQL 命令行工具连接 PolarDB-MySQL 实例,命令如下: ```bash mysql -h <host> -P <port> -u <username> -p<password> -D <database> ``` 例如: ```bash mysql -h polardb-mysql-instance1.rds.aliyuncs.com -P 3306 -u myuser -pmypassword -D mydb ``` ### 使用 Sqoop 连接 PolarDB-MySQL 如果通过 Sqoop 工具将数据从 PolarDB-MySQL 导出到 Hadoop 生态系统(如 Hive),连接字符串格式与标准的 MySQL JDBC 格式一致。例如: ```bash sqoop import \ --connect jdbc:mysql://polardb-mysql-instance1.rds.aliyuncs.com:3306/mydb \ --username myuser \ --password mypassword \ --table mytable \ --hive-table mydb.mytable \ --hive-import ``` ### 注意事项 1. **网络连接**:确保应用程序或客户端能够访问 PolarDB-MySQL 实例的网络地址。通常需要配置白名(IP 白名 VPC 网络设置。 2. **安全性**:建议使用 SSL 加密连接以增强安全性,可以在连接字符串中添加 `useSSL=true` 并配置相应的信任库。 3. **连接池配置**:在生产环境中,建议使用连接池(如 HikariCP、Druid)来管理数据库连接,提高性能稳定性 [^1]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值