数据库连接池

数据库连接池

能不能给个关注呀😉😉

概述：

​ 数据库连接池是负责分配、管理和释放数据库连接，它允许应用程序重复使用一个现有的数据库连接，而不是再重新建立一个。

1. 数据库连接池技术

• 数据库连接池的基本思想：就是为数据库连接建立一个“缓冲池”。预先在缓冲池中放入一定数量的连接，当需要建立数据库连接时，只需从“缓冲池”中取出一个，使用完毕之后再放回去。

• 数据库连接池负责分配、管理和释放数据库连接，它允许应用程序重复使用一个现有的数据库连接，而不是重新建立一个。

• 数据库连接池在初始化时将创建一定数量的数据库连接放到连接池中，这些数据库连接的数量是由最小数据库连接数来设定的。无论这些数据库连接是否被使用，连接池都将一直保证至少拥有这么多的连接数量。连接池的最大数据库连接数量限定了这个连接池能占有的最大连接数，当应用程序向连接池请求的连接数超过最大连接数量时，这些请求将被加入到等待队列中。

  ---

  连接池的管理：

    连接池管理策略是连接池机制的核心，连接池内连接的分配和释放对系统的性能有很大的影响。其管理策略是：

1. 当客户请求数据库连接时，首先查看连接池中是否有空闲连接：

   1. 如果存在空闲连接，则将连接分配给客户使用；
   2. 如果没有空闲连接，则查看当前所开的连接数是否已经达到最大连接数，
      1. 如果没达到就重新创建一个连接给请求的客户；
      2. 如果达到就按设定的最大等待时间进行等待，如果超出最大等待时间，则抛出异常给客户。

2. 当客户释放数据库连接时，先判断该连接的引用次数是否超过了规定值，如果超过就从连接池中删除该连接，否则保留为其他客户服务。

    例如上图中，数据库连接池中提供了四个连接，当一个程序用到一个连接时，该连接就由“free”变为“busy”，当该程序将该连接关掉之后，该连接就会变成free状态。注意：这里的关闭（close）和之前我们自己创建连接时的close不同，这里只是将该连接还回到数据库连接池中。

---

数据库连接池技术的优点:

1. 资源重用

    由于数据库连接得以重用，避免了频繁创建，释放连接引起的大量性能开销。在减少系统消耗的基础上，另一方面也增加了系统运行环境的平稳性。

2. 更快的系统反应速度

    数据库连接池在初始化过程中，往往已经创建了若干数据库连接置于连接池中备用。此时连接的初始化工作均已完成。对于业务请求处理而言，直接利用现有可用连接，避免了数据库连接初始化和释放过程的时间开销，从而减少了系统的响应时间

3. 新的资源分配手段

    对于多应用共享同一数据库的系统而言，可在应用层通过数据库连接池的配置，实现某一应用最大可用数据库连接数的限制，避免某一应用独占所有的数据库资源

4. 统一的连接管理，避免数据库连接泄漏

    在较为完善的数据库连接池实现中，可根据预先的占用超时设定，强制回收被占用连接，从而避免了常规数据库连接操作中可能出现的资源泄露

2. 常用的几种开源的数据库连接池

​     JDBC 的数据库连接池使用 javax.sql.DataSource 来表示，DataSource 只是一个接口，该接口通常由服务器(Weblogic, WebSphere, Tomcat)提供实现，也有一些开源组织提供实现：

• DBCP 是Apache提供的数据库连接池。tomcat 服务器自带dbcp数据库连接池。速度相对c3p0较快，但因自身存在BUG，Hibernate3已不再提供支持。

• C3P0 是一个开源组织提供的一个数据库连接池，**速度相对较慢，稳定性还可以。hibernate官方推荐使用

• Druid 是阿里提供的数据库连接池，据说是集DBCP 、C3P0 、Proxool 优点于一身的数据库连接池，但是速度不确定是否有BoneCP快

    DataSource 通常被称为数据源，它包含连接池和连接池管理两个部分，习惯上也经常把 DataSource 称为连接池

​ DataSource用来取代DriverManager来获取Connection，获取速度快，同时可以大幅度提高数据库访问速度。

【特别注意】：

• 数据源和数据库连接不同，数据源无需创建多个，它是产生数据库连接的工厂，因此整个应用只需要一个数据源即可。
• 当数据库访问结束后，程序还是像以前一样关闭数据库连接：conn.close(); 但conn.close()并没有关闭数据库的物理连接，它仅仅把数据库连接释放，归还给了数据库连接池。

3. C3P0数据库连接池

Maven依赖：

    <dependencies>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.12</version>
            <scope>compile</scope>
        </dependency>

        <!-- https://mvnrepository.com/artifact/com.mchange/c3p0 -->
        <dependency>
            <groupId>com.mchange</groupId>
            <artifactId>c3p0</artifactId>
            <version>0.9.5.2</version>
        </dependency>

        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>5.1.37</version>
        </dependency>

    </dependencies>

• 获取连接方式一：

@Test
    public void test01() throws PropertyVetoException, SQLException
    {


        //获取C3p0数据库连接池
        ComboPooledDataSource cpds = new ComboPooledDataSource();
        cpds.setDriverClass( "com.mysql.jdbc.Driver" );
        cpds.setJdbcUrl( "jdbc:mysql://localhost:3306/test?serverTimezone=UTC&?rewriteBatchedStatements=true");
        cpds.setUser("root");
        cpds.setPassword("xxx");
        //设置数据库连接池初始时的连接数
        cpds.setInitialPoolSize(10);
        Connection connection = cpds.getConnection();
        System.out.println(connection);

        //将连接关闭，即：将连接还回数据库连接池
        connection.close();

    }

• 获取连接方式二：

    /**
     * 使用配置文件编写配置信息
     */
    @Test
    public void test02() throws SQLException
    {
        //这里写我们在配置文件中写的那个配置名，注意：配置文件中的url好像不能直接使用&，要使用&进行转义
        ComboPooledDataSource dataSource = new ComboPooledDataSource("C3p0Config");
        Connection connection = dataSource.getConnection();
        System.out.println(connection);
    }

• 配置文件：配置文件名必须为：c3p0-config.xml
  • 但是在java代码中使用这个配置文件时，使用的是我们在配置文件中<named-config name="C3p0Config"> 指定的名字。

<?xml version="1.0" encoding="UTF-8" ?>
<c3p0-config>


    <named-config name="C3p0Config">
        <!--
             进行数据库连接池管理的基本信息
        -->
<!--当连接数不够了，一次性向数据库服务器申请的连接数-->
        <property name="acquireIncrement">50</property>
<!--初始化时的连接数-->
        <property name="initialPoolSize">100</property>
<!--最少连接数-->
        <property name="minPoolSize">50</property>
<!--最多连接上限-->
        <property name="maxPoolSize">1000</property>

<!--最多维护的Statements的个数，
我们拿到连接之后需要创建Statements去执行SQL，这里是Statements包括PreparedStatement
-->
        <property name="maxStatements">50</property>
<!--每一个连接中最多可以使用的Statements的个数-->
        <property name="maxStatementsPerConnection">5</property>
        <!--

        提供获取连接的四个基本信息
        -->
        <property name="driverClass">com.mysql.jdbc.Driver</property>
        <property name="jdbcUrl">jdbc:mysql://localhost:3306/test?serverTimezone=UTC&amp;rewriteBatchedStatements=true</property>
        <property name="user">root</property>
        <property name="password">xxx</property>

    </named-config>
</c3p0-config>

将数据库连接池放在类属性中：保证只有一个池子。不能放在方法中。

public class JDBCUtils {

    private static ComboPooledDataSource dataSource = new ComboPooledDataSource("C3p0Config");

    public static Connection getConnection() throws SQLException
    {
        
        Connection connection = dataSource.getConnection();
        return connection;
    }
}

4. DBCP数据库连接池

Maven依赖：这里需要两个依赖包

• commons-dbcp：连接池的实现
• commons-pool：连接池实现的依赖库

    <dependencies>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.12</version>
            <scope>compile</scope>
        </dependency>

        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>5.1.37</version>
        </dependency>

        <!-- https://mvnrepository.com/artifact/commons-dbcp/commons-dbcp -->
        <dependency>
            <groupId>commons-dbcp</groupId>
            <artifactId>commons-dbcp</artifactId>
            <version>1.4</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/commons-pool/commons-pool -->
        <dependency>
            <groupId>commons-pool</groupId>
            <artifactId>commons-pool</artifactId>
            <version>1.6</version>
        </dependency>

dbcp连接池常用基本配置属性：

属性	默认值	说明
initialSize	0	连接池启动时创建的初始化连接数量
maxActive	8	连接池中可同时连接的最大的连接数
maxIdle	8	连接池中最大的空闲的连接数，超过的空闲连接将被释放，如果设置为负数表示不限制
minIdle	0	连接池中最小的空闲的连接数，低于这个数量会被创建新的连接。该参数越接近maxIdle，性能越好，因为连接的创建和销毁，都是需要消耗资源的；但是不能太大。
maxWait	无限制	最大等待时间，当没有可用连接时，连接池等待连接释放的最大时间，超过该时间限制会抛出异常，如果设置-1表示无限等待
poolPreparedStatements	false	开启池的Statement是否prepared
maxOpenPreparedStatements	无限制	开启池的prepared 后的同时最大连接数
minEvictableIdleTimeMillis		连接池中连接，在时间段内一直空闲， 被逐出连接池的时间
removeAbandonedTimeout	300	超过时间限制，回收没有用(废弃)的连接
removeAbandoned	false	超过removeAbandonedTimeout时间后，是否进 行没用连接（废弃）的回收

• 连接方式一：配置信息写在java代码中

 @Test
    public void test01() throws SQLException
    {
        //创建DBCP数据库连接池
        BasicDataSource dataSource = new BasicDataSource();

        //设置基本信息
        dataSource.setDriverClassName( "com.mysql.jdbc.Driver" );
        dataSource.setUrl( "jdbc:mysql://localhost:3306/test?serverTimezone=UTC&?rewriteBatchedStatements=true");
        dataSource.setUsername("root");
        dataSource.setPassword("xxx");

        //设置其他数据库连接池管理的相关属性
        dataSource.setInitialSize(10);
        dataSource.setMaxActive(10);

        Connection connection = dataSource.getConnection();
        System.out.println(connection);
    }

输出：

• 方式二：使用配置文件

@Test
    public void test02() throws Exception
    {
        Properties properties = new Properties();
        //方式一：使用类加载器获取流
        //InputStream is = ClassLoader.getSystemClassLoader().getResourceAsStream("dbcp.properties");

        //方式二：使用文件的操作
        FileInputStream is = new FileInputStream(new File("target/classes/dbcp.properties"));
        properties.load(is);
        //创建DBCP数据库连接池
        DataSource dataSource = BasicDataSourceFactory.createDataSource(properties);


        Connection connection = dataSource.getConnection();
        System.out.println(connection);
    }

配置文件：

driverClassName=com.mysql.jdbc.Driver
url=jdbc:mysql://localhost:3306/test?serverTimezone=UTC&?rewriteBatchedStatements=true
username=root
password=xxx
initialSize=10

​ 其实这种方式也有一种弊端，不应该在方法内部写数据库连接池，应该拿到类中实现，使用静态代码块的方式。

package nuc.utils;


/**
 * @author 满眼星河
 * @create 2020-11-22-14:44
 */
public class JDBCUtils {

   private static DataSource source = null;
    static {
        FileInputStream is = null;
        try
        {
            Properties properties = new Properties();
            is = new FileInputStream(new File("target/classes/dbcp.properties"));
            properties.load(is);
            source = BasicDataSourceFactory.createDataSource(properties);
        } catch (FileNotFoundException e)
        {
            e.printStackTrace();
        } catch (IOException e)
        {
            e.printStackTrace();
        } catch (Exception e)
        {
            e.printStackTrace();
        }
        //创建DBCP数据库连接池

    }

    
    public static Connection getConnection02() throws SQLException
    {

        Connection connection = dataSource.getConnection();
        return connection;
    }

    static {
        try
        {
            Class.forName("com.mysql.jdbc.Driver");
        } catch (ClassNotFoundException e)
        {
            e.printStackTrace();
        }
    }

    public static Connection getConnection1() throws SQLException
    {
        String url="jdbc:mysql://localhost:3306/test?serverTimezone=UTC&?rewriteBatchedStatements=true";
        String username="root";
        String password="xxx";
        return DriverManager.getConnection(url,username,password);
    }

    public static void closeResource(Connection c, PreparedStatement ps, ResultSet re)
    {
        if(re!=null)
        {
            try
            {
                re.close();
            } catch (SQLException e)
            {
                e.printStackTrace();
            }
        }
        if(ps!=null)
        {
            try
            {
                ps.close();
            } catch (SQLException e)
            {
                e.printStackTrace();
            }
        }
        if(c!=null)
        {
            try
            {
                c.close();
            } catch (SQLException e)
            {
                e.printStackTrace();
            }
        }
    }
}

5. Druid数据库连接池

​ Druid是阿里巴巴开源平台上一个数据库连接池实现，它结合了C3P0、DBCP、Proxool等DB池的优点，同时加入了日志监控，可以很好的监控DB池连接和SQL的执行情况，可以说是针对监控而生的DB连接池，可以说是目前最好的连接池之一。

Maven依赖：

<!-- https://mvnrepository.com/artifact/com.alibaba/druid -->
<dependency>
    <groupId>com.alibaba</groupId>
    <artifactId>druid</artifactId>
    <version>1.2.1</version>
</dependency>

代码测试：

    @Test
    public void test01() throws Exception
    {
        InputStream is = ClassLoader.getSystemClassLoader().getResourceAsStream("druid.properties");
        Properties properties = new Properties();
        properties.load(is);

        DataSource dataSource = DruidDataSourceFactory.createDataSource(properties);
        Connection connection = dataSource.getConnection();
        System.out.println(connection);

    }

配置文件：druid.properties

url=jdbc:mysql://localhost:3306/test?serverTimezone=UTC&?rewriteBatchedStatements=true
driverClassName=com.mysql.jdbc.Driver
username=root
password=xxx

配置	缺省	说明
name		配置这个属性的意义在于，如果存在多个数据源，监控的时候可以通过名字来区分开来。 如果没有配置，将会生成一个名字，格式是：”DataSource-” + System.identityHashCode(this)
url		连接数据库的url，不同数据库不一样。例如：mysql : jdbc:mysql://10.20.153.104:3306/druid2 oracle : jdbc:oracle:thin:@10.20.149.85:1521:ocnauto
username		连接数据库的用户名
password		连接数据库的密码。如果你不希望密码直接写在配置文件中，可以使用ConfigFilter。详细看这里：https://github.com/alibaba/druid/wiki/使用ConfigFilter
driverClassName		根据url自动识别 这一项可配可不配，如果不配置druid会根据url自动识别dbType，然后选择相应的driverClassName(建议配置下)
initialSize	0	初始化时建立物理连接的个数。初始化发生在显示调用init方法，或者第一次getConnection时
maxActive	8	最大连接池数量
maxIdle	8	已经不再使用，配置了也没效果
minIdle		最小连接池数量
maxWait		获取连接时最大等待时间，单位毫秒。配置了maxWait之后，缺省启用公平锁，并发效率会有所下降，如果需要可以通过配置useUnfairLock属性为true使用非公平锁。
poolPreparedStatements	false	是否缓存preparedStatement，也就是PSCache。PSCache对支持游标的数据库性能提升巨大，比如说oracle。在mysql下建议关闭。
maxOpenPreparedStatements	-1	要启用PSCache，必须配置大于0，当大于0时，poolPreparedStatements自动触发修改为true。在Druid中，不会存在Oracle下PSCache占用内存过多的问题，可以把这个数值配置大一些，比如说100
validationQuery		用来检测连接是否有效的sql，要求是一个查询语句。如果validationQuery为null，testOnBorrow、testOnReturn、testWhileIdle都不会其作用。
testOnBorrow	true	申请连接时执行validationQuery检测连接是否有效，做了这个配置会降低性能。
testOnReturn	false	归还连接时执行validationQuery检测连接是否有效，做了这个配置会降低性能
testWhileIdle	false	建议配置为true，不影响性能，并且保证安全性。申请连接的时候检测，如果空闲时间大于timeBetweenEvictionRunsMillis，执行validationQuery检测连接是否有效。
timeBetweenEvictionRunsMillis		有两个含义： 1)Destroy线程会检测连接的间隔时间2)testWhileIdle的判断依据，详细看testWhileIdle属性的说明
numTestsPerEvictionRun		不再使用，一个DruidDataSource只支持一个EvictionRun
minEvictableIdleTimeMillis
connectionInitSqls		物理连接初始化的时候执行的sql
exceptionSorter		根据dbType自动识别 当数据库抛出一些不可恢复的异常时，抛弃连接
filters		属性类型是字符串，通过别名的方式配置扩展插件，常用的插件有： 监控统计用的filter:stat日志用的filter:log4j防御sql注入的filter:wall
proxyFilters		类型是List，如果同时配置了filters和proxyFilters，是组合关系，并非替换关系
IdleTimeMillis
connectionInitSqls		物理连接初始化的时候执行的sql
exceptionSorter		根据dbType自动识别 当数据库抛出一些不可恢复的异常时，抛弃连接
filters		属性类型是字符串，通过别名的方式配置扩展插件，常用的插件有： 监控统计用的filter:stat日志用的filter:log4j防御sql注入的filter:wall
proxyFilters		类型是List，如果同时配置了filters和proxyFilters，是组合关系，并非替换关系