JDBC 在性能测试中的应用

性能_3 jmeter连接数据库jdbc(sql server举例) 因为JMeter本身没有提供链接数据库的功能,所以我们需要借助第三方的工具包来实现。 (有这个jar包之后,jmeter可以发起jdbc请求,没有这个jar包,也有jdbc取样器,但不能发起请求。) 阅读详情

 前言

Cloud Native

我们能否绕开 http 协议,直接测试数据库的性能?是否觉得从数据库中导出 CSV 文件来构造压测数据很麻烦?怎样在压测结束后做数据清理?能不能通过数据库中的插入(删除)记录对压测请求做断言?使用阿里云性能测试工具 PTS 可以轻松解决上述问题。

什么是 JDBC

Cloud Native

JDBC(Java DataBase Connectivity,Java 数据库连接)是一种用于执行 SQL 语句的 Java API,可以为多种关系数据库提供统一访问,它由一组用 Java 语言编写的类和接口组成。JDBC 提供了一种基准,据此可以构建更高级的工具和接口,使数据库开发人员能够编写数据库应用程序。

简单地说,JDBC 可做三件事:与数据库建立连接、发送操作数据库的语句并处理结果。

JDBC 的设计原理

Cloud Native

1

整体架构

JDBC 制定了一套和数据库进行交互的标准,数据库厂商提供这套标准的实现,这样就可以通过统一的 JDBC 接口来连接各种不同的数据库。可以说 JDBC 的作用是屏蔽了底层数据库的差异,使得用户按照 JDBC 写的代码可以在各种不同的数据库上进行执行。那么这是如何实现的呢?如下图所示:

JDBC 定义了 Driver 接口,这个接口就是数据库的驱动程序, 所有跟数据库打交道的操作最后都会归结到这里 ,数据库厂商必须实现该接口,通过这个接口来完成上层应用的调用者和底层具体的数据库进行交互。Driver 是通过 JDBC 提供的 DriverManager 进行注册的,注册的代码写在了 Driver 的静态块中,如 MySQL 的注册代码如下所示:

static {

        try {

            java.sql.DriverManager.registerDriver(new Driver());

        } catch (SQLException E) {

            throw new RuntimeException("Can't register driver!");

        }

    }
作为驱动定义的规范 Driver,它的主要目的就是和数据库建立连接,所以其接口也很简单,如下所示:
public interface Driver {

  //建立连接

    Connection connect(String url, java.util.Properties info)

        throws SQLException;

    boolean acceptsURL(String url) throws SQLException;

    DriverPropertyInfo[] getPropertyInfo(String url, java.util.Properties info)

                         throws SQLException;

    int getMajorVersion();

    int getMinorVersion();

    boolean jdbcCompliant();

    public Logger getParentLogger() throws SQLFeatureNotSupportedException;

}

作为 Driver 的管理者 DriverManager,它不仅负责 Driver 的注册/注销,还可以直接获取连接。它是怎么做到的呢?观察下面代码发现,实际是通过遍历所以已经注册的 Driver,找到一个能够成功建立连接的 Driver,并且将 Connection 返回,DriverManager 就像代理一样,将真正建立连接的过程还是交给了具体的 Driver。

for(DriverInfo aDriver : registeredDrivers) {

            // If the caller does not have permission to load the driver then

            // skip it.

            if(isDriverAllowed(aDriver.driver, callerCL)) {

                try {

                    println("    trying " + aDriver.driver.getClass().getName());

                    Connection con = aDriver.driver.connect(url, info);

                    if (con != null) {

                        // Success!

                        println("getConnection returning " + aDriver.driver.getClass().getName());

                        return (con);

                    }

                } catch (SQLException ex) {

                    if (reason == null) {

                        reason = ex;

                    }

                }




            } else {

                println("    skipping: " + aDriver.getClass().getName());

            }




        }

2

Connection 设计

通过上节我们知道数据库提供商通过实现Driver接口来向用户提供服务,Driver接口的核心方法就是获取连接。Connection是和数据库打交道的核心接口,下面我们看看它的设计方案。

通过观察设计图我们发现主要有两类接口:DataSource 和 Connection。下面我们逐一进行介绍。

  • DataSource

直接看源码,如下所示,发现它的核心方法竟然和 Driver 一样,也是获取连接。那为什么还要 DataSource 呢?Driver 本身不就是获取连接的吗?下面我们就看看 DataSource 到底是怎么获取连接的。

 public interface DataSource  extends CommonDataSource, Wrapper {

  Connection getConnection() throws SQLException;

  Connection getConnection(String username, String password)

    throws SQLException;

}

然而我们发现 JDBC 只定义了 DataSource 的接口,并没有给出具体实现,下面我们就以 Spring 实现的 SimpleDriverDataSource 为例,来看看它是怎么做的,代码如下所示,发现 DataSource 的 getConnection(...)方法,最后竟然还是交由 driver.connect(...)去真正建立连接。所以又回到最开始我们所描述的, Driver 才是真正的与数据库打交道的接口。

protected Connection getConnectionFromDriver(Properties props) throws SQLException {

        Driver driver = getDriver();

        String url = getUrl();

        Assert.notNull(driver, "Driver must not be null");

        if (logger.isDebugEnabled()) {

            logger.debug("Creating new JDBC Driver Connection to [" + url + "]");

        }

        return driver.connect(url, props);

    }

那么问题来了,为什么还需要 DataSource 这样的接口,岂不多此一举么?显然不会。DataSource 是加强版的 Driver。它将核心的建立连接的过程交由 Driver 执行,而对于建立缓存,处理分布式事务和连接池等看似与建立连接无关的事情自己来处理。如类的设计图所示,以 PTS 使用的 Druid 连接池为例:

  • ConnectionPoolDataSource:连接池的实现,此数据源实现并不直接创建数据库物理连接,而是一个逻辑实现,它的作用在于池化数据库物理连接。
  • PooledConnection:配合 ConnectionPoolDataSource,由它获取一个池化对象 PooledConnection,再通过该 PooledConnection 间接获取到物理连接。

显然,通过连接池我们可以从连接的管理中抽身,提高连接的利用效率,也能提升压力机的施压能力。

3

Statement 设计

建立连接之后,用户可能要开始写 SQL 语句,并且交由数据库去执行了。这些是通过 Statement 来实现的。主要分为:

  • Statement:定义一个静态的 SQL 语句,数据库每次执行都需要重新编译,一般用于仅执行一次查询并返回结果的情形。
  • PreparedStatement:定义一个带参的预编译的 SQL 语句,下次执行时,会从缓存中取出遍以后的语句,而不需要重新编译一遍,适用于执行多次相同逻辑的 SQL 语句,当然它还有防 SQL 注入等功能,安全性和效率较高,使用比较频繁。对于性能测试来说,选择 PreparedStatement 最为合适。
  • CallableStatement:用来调用存储过程。

4

ResultSet 设计

JDBC 使用 ResultSet 接口来承接 Statement 的执行结果。ResultSet 使用指针的方式(next())来逐条获取检索结果,当指针指向某条数据时,用户可以自由的选择获取某一列的数据。PTS 通过将 ResultSet 转化成 CSV 文件,辅助用户以一条 SQL 语句,构造复杂的压测数据。

5

JDBC 架构总结

通过上面的介绍我们发现,JDBC 的设计还是层次感分明的。

(1)Driver 和 DriverManager 是面向数据库的,设计了一套 Java 访问数据的规范,数据库厂商只需要实现这套规范即可;

(2)DataSource 和 Connection 是面向应用程序开发者的,它们不关心 JDBC 具体是如何跟数据库进行交互的,通过统一的 DataSource 接口就可以拿到 Connection,用户的数据操作都可以通过这个 Connection 来实现了;

(3)Statement 承载了具体的 SQL 命令,用户可以定义不同的 Statement 来向数据库发送指令;

(4)ResultSet 是用来承载 SQL 命令的执行结果。

至此,完成了 加载驱动 -> 建立连接 -> 执行命令 -> 返回结果 这样的和数据库交互的整个过程。如果把这个过程灵活的嵌入到 PTS 性能测试中,便可以解决前言提到的各种问题。

JDBC 在性能测试中的应用

Cloud Native

1

数据库性能测试

  • 背景

大多数对数据库的操作都是通过 HTTP、FTP 或其他协议执行的,但是在某些情况下,绕开中间协议直接测试数据库也很有意义。例如我们希望不触发所有相关查询,而只测试特定 high-value 查询的性能;验证新数据库在高负载下的性能。2.验证某些数据库连接池参数,例如最大连接数 3.节省时间和资源。当我们想要优化 SQL 时,修改代码中的 SQL 语句和其他数据库操作非常繁琐,通过 JDBC 压测,我们可以避免侵入代码,集中精力在 SQL 调优上。

  • 步骤

1、创建场景。 我们在 PTS 控制台的【压测中心】->【 创建场景 】中创建 PTS 压测场景;

2、场景配置。PTS 支持对 MySQL、PostgreSQL 等四种数据库发起压测。用户填写 JDBC URL、用户名、密码和 SQL 即可发起压测。同时,PTS 还支持提取 ResultSet 中的数据作为出参,给下游 API 使用;对响应进行断言。

3、压测中监控和压测报告。PTS 支持绑定阿里云 RDS 云资源监控,在压测过程中观察 RDS 实时性能指标。此外,PTS 还提供清晰完备的压测报告以及采样日志,供用户随时查看。

2

压测数据构造

  • 背景

在模拟不同用户登录、压测业务参数传递等场景中,需要使用参数功能来实现压测的请求中各种动态操作。如果使用传统的 CSV 文件参数,会受到文件大小的限制,且手动创建耗费精力。使用 JDBC 来构造压测数据,可以避免以上问题。

  • 步骤

1、 添加数据源。 在场景编辑-数据源管理中,选择添加 DB 数据源,输入 URL、用户名、密码和 SQL。

2、添加参数。填写自定义参数名和列索引。

3、调试验证。点击调试场景,即可验证提取的结果集是否符合预期。接着,我们就可以在任意想要使用参数的
地方使用${}引用即可。

3

压测脏数据清理

  • 背景

针对写请求的压测,会在数据库中生成大量脏数据。如何在压测结束后自动清理?

  • 步骤

PTS 给用户提供了解决方案。PTS 支持对串联链路作逻辑上的顺序编排,即前置链路、普通链路和后置链路。执行顺序由先到后。设置某条串联链路为后置链路,填写循环次数即可。

jmeter使用之jdbc连接 01.jdbc连接使用场景 jdbc简介 jdbc指java数据库连接,说白了就是数据库的一个驱动,可以让你的程序连接到数据库,所以当我们jmeter想要直接操作到数据库的话,那么就需要配置jdbc连接。 jdbc驱动包可以在mysql官网下载。 https://downloads.mysql.com/archives/c-j/ 使用场景: 1:企业运维在生产发现一些耗时较大的sql,需要测试这边去配合测试下这条语句的性能。 2:测试人... 阅读详情

相关推荐

全栈性能测试-- -14数据库JDBC协议接口项目实战

数据库JDBC协议接口项目实战 tcp/ip协议是传输层的 操作的时候,需要服务端先启一下服务 1.JDBC协议接口简介 一般是测数据库的 最简单的项目架构 pc端发送一个请求<=======>应用服务器(Tomcat)<======>数据库db 请求的传输时间:N1+N2+N3+N4 nginx是负载均衡 2.Jmeter配置JDBC接口 Jmeter测试数据库,就是跳过业务层了 并发某一个sql语句 需要JDBCjar包,也是放在lib的ext里面 上面的只是连

初遇我ㄖ寸の热情呢? 7674

DBCP,C3P0,Tomcat_JDBC 性能及稳定性测试

原创文章,转载请指明出处:http://aub.iteye.com/blog/1404219, 尊重他人即尊重自己 DBCP,C3P0,Tomcat_JDBC 性能及稳定性测试   1.测试环境:   硬件环境: 数据库服务器:2U*8核 8G内存 测试服务器:   2U*8核 6G内存     软件环境: jdk:    1.6.29 mysql: 5.0....

忘掉地平线 248

jmeter性能测试之实战项目~JDBC

待补充

shitou987的博客 426

jdbc数据库性能测试

import java.sql.Connection; import java.sql.DriverManager; import java.sql.PreparedStatement; import java.sql.SQLException; import java.text.SimpleDateFormat; public class TestJdbcSpeed {    pu

cyl937的专栏 1370

软件测试中使用JDBC插入大量数据的性能测试

jdbc数据软件测试中使用JDBC插入大量数据的性能测试使用jdbc向数据库插入100000条记录,分别使用statement,PreparedStatement,及PreparedStatement+批处理3种方式进行测试:1、使用statement插入100000条记录publicvoidexec(Connectionconn){try{Long软件测试中使用JDBC插入大量数据的性能测试使用jdbc向数据库插入100000条记录,分别使用statement,PreparedStatement,及PreparedStatement+批处理3种方式进行测试:1、使用statement插入10

全志T133-s3(Tina Linux)下RTL8723DS WiFi驱动移植与调试实战

本文详细介绍了在全志T133-s3平台(Tina Linux)上移植RTL8723DS WiFi驱动的完整流程,包括硬件连接、驱动源码获取、内核配置、系统适配、设备树配置以及常见问题排查。通过实战案例,帮助开发者快速解决SDIO接口通信、固件加载、电源管理等关键问题,实现稳定的WiFi功能。

weixin_30505225的博客 508

jmeter性能测试---数据库压测_JDBC的应用

数据库压测其实就是多一步连接JDBC数据的操作 1)添加并配置连接一下JDBC Connection Configuration 2)添加JDBC请求 3)线程配置各种压测情况和添加各种监控组件: ...

paidaxing_dashu的博客 252

记录rk3588 在Linux 6.1内核版本声卡 bug。

rk3588 Audio bug

Yongheng6的博客 857

软件测试性能测量参数,性能测试时需关注应用中间件27个指标和参数

本文介绍在性能测试的时候,需要关注应用中间件的哪些参数或指标。任何涉及到性能的事情,都离不开监控,本文还将介绍应用中间件WAS的监控方法。应用中间件需关注的指标介绍在性能测试的时候,需要关注应用中间件的哪些参数或指标。本文以WAS为例,但实际上,概念都是一样的。Web应用程序1 概念应用服务器提供Web服务(接收请求,返回应答),关注其服务的能力,包括响应时间、错误的比例、吞吐量等等。2 关注指标...

weixin_42318030的博客 1300

[ADS]单端电感和差分电感的感值和Q值计算公式

单端电感和差分电感的感值和Q值计算公式

乾巽的博客 1万+

开发simulink 以及stm32半物理仿真碰到的问题,以及处理方法,Error:External Mode Open Protocol Connect command failed(实测有用)

串口实现的,但是在测试的时候发现,这个串口可以正常发送和接收数据,但是一旦把这个串口只让其进行版物理仿真就报错。直接刷写程序是可以的,最后查到问题了。我要实现半物理仿真,就是通过matlab实现可以直接控制stm32板子,实际上是通过xcp on。然后点击simulink上的观测按钮就可以直接和stm32平台进行通讯了。3,还是使用串口3,但是重新需要设置一下com口,因为重新插拔了一下,按照这个设置方法就可以。2,重新加载ioc文件。

pvmsmfchcs的博客 1503

JDBC处理器和BeanShell取样器的组合应用

转载地址:http://www.cnblogs.com/youngchance/p/5176930.html 序言:     一日做性能测试,遇到一个页面上的数据提取,一开始想着用正则表达式不就提取出来了。后来仔细一想不对,单一提取貌似还能凑合,动态不定个数的提取,又是拼接的,正则貌似写不出来,即使能写出来估计也是恶心的要死。仔细一看,这不就是数据库里面的东西吗?直接从数据

可口可乐的博客 1110

【K210+STM32项目】基于K210与STM32协同工作的智能垃圾分类系统设计与实现(更新3.0版本)(完整工程资料源码)

STM32F407STM32F407_2(含有app功能)

嵌入式技术开发 2498

借助RESTful接口,TDengine的JDBC驱动可跨平台,而且不用为升级发愁了

随着TDengine-2.0.14.0版本的发布,我们在这个版本中为JDBC Connector添加了一种新的实现:JDBC-RESTful。它内部使用RESTful接口, 而不是taosc连接TDengine服务器,这样能够跨平台,不仅在Linux, Windows, 在Mac上都能开发TDengine应用了。特别的是,你也不用担心升级TDengine需要同步升级客户端了。 01 使用JDBC-RESTful的好处 1.实现TDengine跨平台应用开发 之前,由于TDengine的JDBC驱动依赖本.

涛思数据 8908

【中国大学生计算机设计大赛信息可视化赛道】国奖项目深入剖析—中国古代奇异怪兽移动端可视化应用项目

【中国大学生计算机设计大赛信息可视化赛道】国奖项目深入剖析—中国古代奇异怪兽移动端可视化应用项目 注:本文主要目的是对于往年国奖项目案例-可视化项目的深入剖析讲解,对源码、项目特点、要点、特色继续深入分析。帮助大家学习技术,掌握规律。

一键难忘的博客 3733

46、聚类算法在智能交通数据分析中的应用

本文探讨了聚类算法在智能交通数据分析中的应用,介绍了K-均值算法、K-中心点算法和基于模型的聚类算法的基本原理及特点,并结合实际交通数据讨论了其应用场景与挑战。通过聚类分析,能够从海量交通数据中发现隐藏模式,为交通管理和规划提供科学依据。文章还展示了具体的案例分析和实现流程,为未来智能交通系统的发展提供了参考。

zz67890的博客 134

高级性能测试系列《24. 通过jdbc执行sql脚本》

目录一、JDBC(JavaDataBaseConnectivity)1.jdbc:java调用数据库的。2.怎么找jar包?3.mysql版本8与mysql版本5.7的jar包有差异吗?二、写脚本1.添加配置元件--JDBC Connection Configuration。2.jdbc request三、注意一、JDBC(JavaDataBaseConnectivity...

清菡的博客 1298

YOLO26涨点改进 | 细节涨点篇 | 源自SCI一区 | YOLO26引入HWD小波下采样模块,而不会显著增加计算开销,(适合小目标分割任务、小目标检测任务)

本文提出了一种基于Haar小波变换的下采样模块HWD,用于改进YOLO26目标检测性能。HWD模块通过小波变换降低特征图分辨率,同时将空间信息编码到通道维度,有效保留了关键信息。相比传统下采样方法,HWD能显著减少信息不确定性,提升小目标检测精度。实验表明,该模块可无缝集成到CNN架构中,不增加计算开销。文章详细介绍了HWD的实现原理、代码结构以及在YOLO26中的集成方法,并提供了两种改进版yaml配置文件。该创新模块已在多种数据集上验证有效,特别适合语义分割和目标检测任务。

Ai缝合怪、助力小伙伴高效发论文 406

JDBC、JDBCTemplate、MyBatis、Hiberante 比较

  JDBC (Java Data Base Connection,java数据库连接) JDBC(Java Data Base Connection,java数据库连接)是一种用于执行SQL语句的Java API,可以为多种关系数据库提供统一访问,它由一组用Java语言编写的类和接口组成.JDBC提供了一种基准,据此可以构建更高级的工具和接口,使数据库开发人员能够编写数据库应用程序 优点:...

心神沫沫的收藏 1412

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

【性能测试面试题】请分享一下数据库在JMeter性能测试中的运用

最后,如果要对数据库进行优化的话,也可以从“数据库索引优化”、“数据库配置调整”、“SQL 语句优化”这写方面进行着手,通过在 Jmeter 中巧妙运用数据库性能测试,我们能够更全面、深入地评估系统性能,提前发现并解决数据库层面的性能瓶颈,为打造高效、稳定的软件系统奠定坚实基础。

hlsxjh的博客 563

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

上一篇: go-zero微服务实战系列(六、缓存一致性保证)
下一篇: 在 Pisa-Proxy 中,如何利用 Rust 实现 MySQL 代理
程序员职业指南
博客等级 码龄4年 2141粉丝 960原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值