spring-boot结合mysql配置数据库连接池

1.配置数据库连接池之前，我们是不是应该选择一个合适的数据库连接池，我们先来看看几种常见的数据库连接池的情况

    小弟曾经主持以及经历的几个产品及项目中，包括了各种数据库及应用服务器，基本上几种常见的数据库连接池都用到或者了解了，根据使用的情况把这些连接池比较一下吧。

感觉在介绍之前有必要阐述一下连接池的几个概念，有助于后边一些文字的理解。

    最原始的数据库使用就是打开一个连接并进行使用，使用过后一定要关闭连接释放资源。由于频繁的打开和关闭连接对jvm包括数据库，都有一定的资源负荷，尤其应用压力较大时资源占用比较多容易产生性能问题。

由此使用连接池的作用就显现出来，他的原理其实不复杂：

    先打开一定数量的数据库连接，当使用的时候分配给调用者，调用完毕后返回给连接池，注意返回给连接池后这些连接并不会关闭，而是准备给下一个调用者进行分配。由此可以看出连接池节省了大量的数据库连接打开和关闭的动作，对系统性能提升的益处不言而喻。

几个概念：

    初始化连接数量大小—连接池初始化时，打开的连接数

    最小连接--应用启动后随即打开的连接数以及后续最小维持的连接数。

    最大连接数--应用能够使用的最多的连接数

    连接增长数--应用每次新打开的连接个数

举个例子说明连接池的运作：

    假设设置了最小和最大的连接为10，20，那么应用一旦启动则首先打开10个数据库连接，但注意此时数据库连接池的正在使用数字为0--因为你并没有使用这些连接，而空闲的数量则是10。然后你开始登录，假设登录代码使用了一个连接进行查询，那么此时数据库连接池的正在使用数字为1、空闲数为9，这并不需要从数据库打开连接--因为连接池已经准备好了10个给你留着呢。登录结束了，当前连接池的连接数量是多少？当然是0，因为那个连接随着事务的结束已经返还给连接池了。然后同时有11个人在同一秒进行登录，会发生什么：连接池从数据库新申请（打开）了一个连接，连同另外的10个一并送出，这个瞬间连接池的使用数是11个，不过没关系正常情况下过一会儿又会变成0。如果同时有21个人登录呢？那第21个人就只能等前面的某个人登录完毕后释放连接给他。这时连接池开启了20个数据库连接--虽然很可能正在使用数量的已经降为0，那么20个连接会一直保持吗？当然不，连接池会在一定时间内关闭一定量的连接还给数据库，在这个例子里数字是20-10=10，因为只需要保持最小连接数就好了，而这个时间周期（最长等待时间）也是连接池里配置的。

好了，基本概念说完了，言归正传进行比较了。

    首先说明的一点，为了应用便于移植以及可配置的角度，建议还是使用jndi统一进行连接池的配置。怎么配置其实网上都有很多例子，

这里简单举个例子（使用spring框架）：

首先在应用的上下文定义中配置jndi名称，如一个resource.xml文件，里边的写法

<bean id="dataSource" class="org.springframework.jndi.JndiObjectFactoryBean">

<property name="jndiName"><value>jdbc/myapp</value></property>

</bean>

    注意dataSource这个bean在dao层(hibernate或jdbc)的配置文件里需要作为dataSource名称的属性配置到所有bean中

    其中“jdbc/myds”这个就是jndi名称了，下一步就是在应用服务器连接池里进行数据库连接以及对应的jndi配置了

一 、开源数据连接池

1 dbcp

    dbcp可能是使用最多的开源连接池，原因大概是因为配置方便，而且很多开源和tomcat应用例子都是使用的这个连接池吧。

    这个连接池可以设置最大和最小连接，连接等待时间等，基本功能都有。

    评价：在具体项目应用中，发现此连接池的持续运行的稳定性还是可以，不过速度稍慢，在大并发量的压力下稳定性有所下降，此外不提供连接池监控

2 c3p0

    c3p0是另外一个开源的连接池，在业界也是比较有名的，这个连接池可以设置最大和最小连接，连接等待时间等，基本功能都有。

    评价：在具体项目应用中，发现此连接池的持续运行的稳定性相当不错，在大并发量的压力下稳定性也有一定保证，此外不提供连接池监控。

3 proxool

    proxool这个连接池可能用到的人比较少，但也有一定知名度，这个连接池可以设置最大和最小连接，连接等待时间等，基本功能都有。

    评价：在具体项目应用中，发现此连接池的持续运行的稳定性有一定问题，有一个需要长时间跑批的任务场景任务，同样的代码在另外2个开源连接池中成功结束，但在proxool中出现异常退出。

但是proxool有一个优势--连接池监控，这是个很诱人的东西，大概的配置方式就是在web.xml中添加如下定义：

<servlet>

<servlet-name>admin</servlet-name>

<servlet-class>org.logicalcobwebs.proxool.admin.servlet.AdminServlet</servlet-class>

</servlet>

<servlet-mapping>

<servlet-name>admin</servlet-name>

<url-pattern>/admin</url-pattern>

</servlet-mapping>

并在应用启动后访问：http://localhost:8080/myapp/admin这个url即可监控

不过proxool本身的包在监测使用中会有编码问题，

proxool-0.9.0RC3.jar包就可以解决此问题。另外需要jdk1.5以上的环境。

总结时刻：

    综上所述，这几种开源连接池各有优劣，推荐使用c3p0，经检验这种连接池性能稳定，承压能力强。而proxool尽管有明显的性能问题，

    但由于它具备监控功能，因此建议在开发测试时使用，有助于确定是否有连接没有被关掉，可以排除一些代码的性能问题。

二、商业中间件连接池（以下部分是通过资料了解的，由于没有钱，so·····）

    上面列举了几种开源的连接池，其实可以肯定的说，如果条件允许使用weblogic和websphere等中间件，那么不要犹豫，一定要用。

    使用这些商业级别的中间件所自带的数据库连接池，他们的性能以及调配和开源的不在一个量级，举个例子，曾经有一个项目，数据量比较大，同样的代码应用，在3种开源的连接池里都多少出现过系统异常，而weblogic和websphere的连接池则正常运行，当然后来发现代码有一定瑕疵，但也侧面说明了商业连接池的强大。

1、 weblogic的连接池

    weblogic 8 是一个让人使用起来很轻松方便的应用服务器软件，但是到了9简直就是折磨，不知道是bea是怎么想的，oracle收购了bea以后出了10，比9强不少，但是最喜欢的还是8。。。

    题外话不说了，就以8.1版本介绍一下他的数据库连接池（其实10的配置也差不多）

    首先是连接池的基本设置，这个不讲了，网上有很多教程。然后进入Data Sources菜单配置数据源里边的JNDI Name，要和之前在应用配置中的一致：jdbc/myapp。

    然后是连接池一些具体项目的配置，包括设置最小（Initial Capacity），最大（ Maximum Capacity）连接，以及每次连接增加时需要一次性增加多少连接（Capacity Increment）。Allow Shrinking（是否把不用的连接退还数据库以保持最小连接数--这个就可以参见之前的连接池阐述的例子进行理解了）。

    另外还有几个有意思的选项Test Reserved Connections：对取得的连接进行测试，Test Released Connections：对释放的连接进行测试。有人会问了，这个有什么用啊？

    不知道大家在项目中有没有遇到java报连接失效的异常，反正我碰到过，只有在系统压力大的时候才出现。而有了这个选项就不用担心这个问题了--因为连接池已经帮你测试了，一旦检查到连接是无效的他会废弃掉还给数据库，只给你有效的。不过这个连接失效的异常其实多半是应用的不严谨造成的，我们更因该关心应代码的问题--但起码weblogic想到帮你弥补一下，是不是很贴心：）

    另外一个重要功能当然是连接池监控：monitor选项卡里可以看到使用情况，有人又要问了，没有什么指标啊，别忘了custom view这个功能链接哦：）

    有以下指标：当前连接数、曾经达到的峰值、可以使用的连接数、等待的连接数、从数据库打开的连接数、曾经关闭的连接数。。。其中前3项是我最关注的

    评价：

     1.在具体项目应用中，此连接池的持续运行的稳定性很强，在大并发量的压力下性能也相当优秀，另外在一些异常情况下连接池里的连接也能够及时释放。

     2.连接池监控一目了然，及时到位。

2 websphere的连接池

    还是先来段题外话：记得有人说过，websphere只有版本6以后才算是websphere，websphere 5以及以前的版本。。。还是忘了吧。从网上查到的资料来看，也是有道理的。

    其实websphere的连接池秉承ibm一贯的风格：功能强大，使用复杂：）

    进入控制台使用“JDBC提供程序”功能菜单进行连接池的基本配置，一路下来，不同的数据库配置方式不尽相同，最奇怪的是还要单独手工加上user和password参数，如果没有资料指导的话还真是摸不着头脑。这些基本设置还是网上找吧很多的。连接池设置完还需要设置数据源，jndi名字一样与之前的对应：jdbc/myapp

    高级设置包括初始化连接数，最大连接，连接有效性检查，不使用超时。。其实这些都和weblogic中的连接池配置大致一样。

    连接池监控：使用运行监控菜单，里边会有一个监控项目选择，选jdbc监控即可，可恶的是一开始弹出什么服务器操作系统需要安装什么图形化控件，选择是那么就得去找到控件在操作系统（linux）下安装，然后很多的依赖组件都没有。。。搞了半天才发现选择否，监控数据以及图形一样能出来嘛，真是要怒了。

    虽然经过一番波折但是监控的内容还是很强大的，就连接池来说一样包括当前连接数、曾经达到的峰值、可以使用的连接数、从数据库打开的连接数、曾经关闭的连接数。。。其中前3项是我最关注的，比较奇怪的现象是应用刚启动的时候已开启的连接数量竟然没有达到初始定义的连接数量，不清楚websphere是怎么个计算机制。

    另外在压力大的时候可使用的连接数会是负数，当时很奇怪，想想也了然了，那个负数肯定是排队等待的数量了

    评价：

    1.在具体项目应用中，此连接池的持续运行的稳定性相当强，在大并发量的压力下性能也足够优秀，另外在一些异常情况下连接池里的连接能够及时释放，

    2.连接池监控配置有些复杂，但是配置好后各项指标一目了然并且有图形显示

总结时刻：

    这两种商业级别的连接池都给我留下深刻印象，功能强大，使用稳定，性能优秀，监控到位。可以说难分伯仲，相对而言weblogic的连接池使用配置和监控配置更简单明了，而websphere的更复杂但选项功能也更多一些。其实这正是对两种应用服务器的使用印象的直接反映，当然总体比较2种应用服务器应该又是另一个话题了，也许在下一期的内容里。。。

    比较了多种连接池的优劣，下面这个话题可能和比较本身没有直接关系，但个人认为应该是更有价值的一些经验分享吧，那就是---这么多指标配置，那些最大和最小连接数以及其他一些必要的配置指标，在一个正式的生产项目中到底应该配置什么值呢？

    其实这个值首先还是要根据具体的项目情况、数据规模以及并发数来制定的(尽管像是套话，但是我们研发人员严谨的作风还是必要的:)。具体而言在中型偏小型的项目--给个数值把，用户数300到3000，数据量100万到1亿---中,建议weblogic设置为最大和最小都是200，websphere最小200最大300，前提是2者设置的最小内存要在1G以上，当然如果条件允许内存越大越好，不过32位机内存1.5G的限制是一定的（64位嘛我愿意设个4G内存过来，速度提升的感觉很爽啊）。这个数字出来以后相信会有不少问题要抛过来，我一一谈一下自己的体验和想法吧

1 为什么是200或300而不是更高？

回答： 再分配多了效果也不大了，一个是应用服务器维持这个连接数需要内存支持，32位的机器只能支持到1.5G，并且维护大量的连接进行分配使用对cpu也是一个不小的负荷，因此不宜太大。

2 为什么不小一点？

回答： 如果太小，那么在规模项目的并发量以及数据量上来以后会造成排队现象，系统会变慢，数据库连接会经常打开和关闭，性能上有压力，用户体验也不好。

3 为什么weblogic最小最大都一样，而websphere不一样

回答： 其实和分配内存的最小最大值的情况一样，一般都推荐2个值应该一致，都放在内存里就好了嘛。但是ibm官方推荐2个值要有区别---官方说法还是要听的

4 其他开源连接池的分配方案还没说呢？

回答： 开源的个人认为到100就可以了，再高他也不会太稳定，当然1G的最小内存是一定要给tomcat分的

5 还有其他的指标吗？

回答： 当然还有一些，但个人认为剩下的具体情况具体分析了不在这里一一列举了，大家有兴趣可以和我讨论分享一下

（分割块，从这里开始讲解）

在上一章节中，我们在application.properties配置了基本的数据库链接及参数，而且我们还在DataSourceConfig.java类中，配置了DataSource()，在该方法中我们使用了org.apache.tocmat.jdbc.pool.DataSource()类，这个实际上已经适用了tomcat jdbc的连接池的一些概念，但是我们却没有配置具体的连接池参数，我们也可以使用tocmat jdbc的连接池来配置，spring boot也是支持的。

但是，我个人还是吧tomcat-jdbc从我的pom中移除并且添加了dbcp的pom。所以，这里只讲解dbcp的配置，那么我们就开始吧。

注：

  我这里使用用dbcp来配置，spring对dbcp和dbcp2的都有支持，你在添加pom的时候，请注意。

（为了让朋友们和上一章节讲解的内容进行对比，我这里是把整个项目中的文件（pom、properties、java等）内容全部展示出来，在以后的章节中也是如此，请理解。）

  目前我的代码并没有上传到gitlab上，因为我希望朋友们通过我的博客文笔记录就可以理解spring-boot的使用，顺便锻炼一下自己的笔记能力。

我们先来看一下，我们的pom.xml文件，

<?xml version="1.0" encoding="UTF-8"?>

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"

    xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">

    <modelVersion>4.0.0</modelVersion>

    <groupId>com.example</groupId>

    <artifactId>demo-boot</artifactId>

    <version>0.0.1-SNAPSHOT</version>

    <packaging>jar</packaging>

    <name>demo-boot</name>

    <description>Demo project for Spring Boot</description>

<!-- 引入父项目 -->

    <parent>

        <groupId>org.springframework.boot</groupId>

        <artifactId>spring-boot-starter-parent</artifactId>

        <version>1.4.1.RELEASE</version>

    </parent>

<!-- 参数设置 -->

    <properties>

        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>

        <project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding>

        <java.version>1.8</java.version>

        <mysql-connector.version>5.1.21</mysql-connector.version>

    </properties>

<!-- jar包依赖 -->

    <dependencies>

        <!-- spring-boot web引入，支持 Web 应用开发，包含 Tomcat 和 spring-mvc。 -->

        <dependency>

            <groupId>org.springframework.boot</groupId>

            <artifactId>spring-boot-starter-web</artifactId>

        </dependency>

        <!-- 添加适用于生产环境的功能，如性能指标和监测等功能 -->

        <dependency>

            <groupId>org.springframework.boot</groupId>

            <artifactId>spring-boot-starter-actuator</artifactId>

        </dependency>

        <dependency>

            <groupId>org.springframework.boot</groupId>

            <artifactId>spring-boot-starter-test</artifactId>

            <scope>test</scope>

        </dependency>

        <!-- spring-boot 配置处理器引入 -->

        <dependency>

            <groupId>org.springframework.boot</groupId>

            <artifactId>spring-boot-configuration-processor</artifactId>

        </dependency>

        <!-- apache tomcat jdbc 引入 -->

        <!--<dependency>-->

        <!--    <groupId>org.apache.tomcat</groupId>-->

        <!--    <artifactId>tomcat-jdbc</artifactId>-->

        <!--</dependency>-->

        <!-- dbcp 连接池引入 -->

        <dependency>

            <groupId>commons-dbcp</groupId>

            <artifactId>commons-dbcp</artifactId>

            <version>1.4</version>

        </dependency>

        <dependency>

            <groupId>commons-pool</groupId>

            <artifactId>commons-pool</artifactId>

            <version>1.4</version>

        </dependency>

        <!-- mysql 驱动包引入 -->

        <dependency>

            <groupId>mysql</groupId>

            <artifactId>mysql-connector-java</artifactId>

            <scope>runtime</scope>

            <version>5.1.21</version>

            <!-- <version>${mysql-connector.version}</version> -->

        </dependency>

        <!-- mybatis 引入 -->

        <dependency>

            <groupId>org.mybatis.spring.boot</groupId>

            <artifactId>mybatis-spring-boot-starter</artifactId>

            <version>1.1.1</version>

        </dependency>

    </dependencies>

    <build>

        <pluginManagement>

            <plugins>

                <plugin>

                    <artifactId>maven-compiler-plugin</artifactId>

                    <configuration>

                        <source>1.8</source>

                        <target>1.8</target>

                    </configuration>

                </plugin>

            </plugins>

        </pluginManagement>

        <plugins>

            <plugin>

                <groupId>org.springframework.boot</groupId>

                <artifactId>spring-boot-maven-plugin</artifactId>

            </plugin>

        </plugins>

    </build>

</project> 

 朋友们如果和上一章节对比的话，会发现我们注释掉了tomcat-jdbc的pom，而且引入了commons-dbcp的pom。

那pom已经引入了，我们来看一下application.properties配置文件吧，

##

server.port: 8082

##默认数据源配置

spring.datasource.url=jdbc:mysql://ip:port/shares_manager?useUnicode=true&amp;amp;characterEncoding=utf-8&amp;amp;autoReconnect=true

spring.datasource.username=your_username

spring.datasource.password=your_password

spring.datasource.driver-class-name=com.mysql.jdbc.Driver

##数据库链接池参数配置

#指定使用哪个连接池，默认使用tomcate-jdbc连接池

spring.datasource.type=org.apache.commons.dbcp.BasicDataSource

#连接池使用的数据库账号

spring.datasource.dbcp.username=root

#连接池使用的数据库密码

spring.datasource.dbcp.password=123456

#连接池使用的数据库驱动类

spring.datasource.dbcp.driver-class-name=com.mysql.jdbc.Driver

#初始化链接数

spring.datasource.dbcp.initial-size=1

#最大链接数

spring.datasource.dbcp.max-active=20

#最小空闲数量

spring.datasource.dbcp.min-idle=1

#最大空闲数量

spring.datasource.dbcp.max-idle=20

#最大等待时间 - 60秒

spring.datasource.dbcp.max-wait=6000  

我们就不一一介绍这些参数了，相信大家都能够理解这些参数的含义，我们主要看一下DataSourceConfig.java的代码：

package com.example.config;

import javax.sql.DataSource;

import org.apache.ibatis.session.SqlSessionFactory;

import org.apache.log4j.Logger;

import org.mybatis.spring.SqlSessionFactoryBean;

import org.mybatis.spring.annotation.MapperScan;

import org.springframework.beans.factory.annotation.Autowired;

import org.springframework.boot.autoconfigure.jdbc.DataSourceProperties;

import org.springframework.boot.context.properties.ConfigurationProperties;

import org.springframework.context.ApplicationContext;

import org.springframework.context.annotation.Bean;

import org.springframework.context.annotation.ComponentScan;

import org.springframework.jdbc.datasource.DataSourceTransactionManager;

import org.springframework.transaction.PlatformTransactionManager;

@ComponentScan

@MapperScan("com.example.dao")//扫描有@Mapper注解的interface定义

public class DataSourceConfig {

    //logger引入

    private static final Logger logger = Logger.getLogger(DataSourceConfig.class);

     @Autowired

    ApplicationContext applicationContext;//引入上下文

    @Autowired

    DataSourceProperties dataSourceProperties;//引入数据源参数

    // DataSource配置

    /**

     * "@Bean"注解就不多解释了，就是说把它当成一个Bean类来处理

     * "@ConfigurationProperties"注解会默认读取application.proerties文件中的spring.datasource配置，并自动赋值到DataSource中

     * @return

     */

    @Bean

//  @ConfigurationProperties(prefix = "spring.datasource")

    public DataSource dataSource() {

        //      return new org.apache.tomcat.jdbc.pool.DataSource();

        //case 1 

                DataSource dataSource = applicationContext.getBean(DataSource.class);

                return dataSource;

        //      case 2

        // DataSource dataSource = new BasicDataSource();

        // return dataSource;

    }

    

    // 提供SqlSeesion(数据库事务操作相关的配置)

    @Bean

    public SqlSessionFactory sqlSessionFactoryBean() throws Exception {

        SqlSessionFactoryBean sqlSessionFactoryBean = new SqlSessionFactoryBean();//创建SqlSessionFactoryBean类

        sqlSessionFactoryBean.setDataSource(dataSource());//设置数据库链接

        //如果你不想写mapper.xml文件来实现功能的话，下面两行可以注释。

//      PathMatchingResourcePatternResolver resolver = new PathMatchingResourcePatternResolver();

//      sqlSessionFactoryBean.setMapperLocations(resolver.getResources("classpath:/com/example/mapper/*.xml"));

        return sqlSessionFactoryBean.getObject();

    }

    /**

     * 事务配置引入

     * @return

     */

    @Bean

    public PlatformTransactionManager transactionManager() {

        return new DataSourceTransactionManager(dataSource());//事务声明

    }

}

我们看到了两个内容的改变（事务配置这个我要解释一下，上一章的代码已经展示了故不解释）：

  1.注入ApplicationContext，为了通过上下文获取到DataSource资源；

     注入DataSourceProperties，可以通过该类来获取数据源的相关参数；

  2.注释@ConfigurationProperties(prefix = "spring.datasource”)，使用了case 1来获取数据源；

    解开注释，适用case 2来获取数据源

就是这么简单，我们配置完成之后呢，就可以启动项目了，然后访问：

然后，我们发现访问是快了一点点。

It is over!

下一章节讲解，spring-boot配置freemarker和thymeleaf两个模板引擎。