认识Druid

最新推荐文章于 2024-05-16 17:02:11 发布

Viola_tt

最新推荐文章于 2024-05-16 17:02:11 发布

阅读量356

点赞数

CC 4.0 BY-SA版权

分类专栏： ——【JAVA】 ✿ 技术点文章标签： druid mycat

本文链接：https://blog.youkuaiyun.com/SweetyoYY/article/details/82914256

——【JAVA】同时被 2 个专栏收录

54 篇文章

订阅专栏

✿ 技术点

8 篇文章

订阅专栏

* 认识

之前对druid的片面认识主要是两个功能，一个是sql监控，一个是对数据库密码进行加密。这两块的认识也是在项目中“感受”到的，其实druid的功能和强大之处不局限于此，感兴趣可以了解。

Druid是阿里的一个产品，在阿里已经部署了超过600个应用，是目前比较流行的高性能的，分布式列存储的OLAP框架(具体来说是MOLAP)。

认识Druid的话，首先它是一个数据库连接池，包括四部分：JDBC组件，基于filter-chain的插件体系，DataSource，sqlParse。

之后了解的druid的功能还有：sql执行日志，Druid提供了不同的LogFilter，能够支持Common-Logging、Log4j和JdkLog，你可以按需要选择相应的LogFilter，监控你应用的数据库访问情况。扩展JDBC，如果你要对JDBC层有编程的需求，可以通过Druid提供的Filter机制，很方便编写JDBC层的扩展插件，下文会给大家分享druid中通过过滤器，对sql语句进行加工。

* 监控+加密

我们更关心的是sql语句的执行时间，配置druid后，有可视化的页面进行监控：如下操作
在这里插入图片描述

开发中，我们也会在连接数据库时对密码进行加密，加密使用的是druid-1.1.9.jar，对明文加密后会生成三对键值对，分别是publicKey，privateKey，密文。公钥需要我们配置，以供解密，同时需要增加配置，在datasource中：

<property name="filters" value="stat,config"/>

* 连接池

这里附上druid配置的属性图，同时对于连接池的内容，我们需要了解几个概念JNDI,数据源，JDBC，还有其他的连接池的对比，这些内容正在学习，后续会有追加。

配置	缺省值	说明
name		配置这个属性的意义在于，如果存在多个数据源，监控的时候可以通过名字来区分开来。如果没有配置，将会生成一个名字，格式是：“DataSource-” + System.identityHashCode(this)
jdbcUrl		连接数据库的url，不同数据库不一样。例如： mysql : jdbc:mysql://10.20.153.104:3306/druid2 oracle : jdbc:oracle:thin:@10.20.149.85:1521:ocnauto
username		连接数据库的用户名
password		连接数据库的密码。如果你不希望密码直接写在配置文件中，可以使用ConfigFilter
driverClassName		根据url自动识别这一项可配可不配，如果不配置druid会根据url自动识别dbType，然后选择相应的driverClassName
initialSize	0	初始化时建立物理连接的个数。初始化发生在显示调用init方法，或者第一次getConnection时
maxActive	8	最大连接池数量
maxIdle	8	已经不再使用，配置了也没效果
minIdle		最小连接池数量
maxWait		获取连接时最大等待时间，单位毫秒。配置了maxWait之后，缺省启用公平锁，并发效率会有所下降，如果需要可以通过配置useUnfairLock属性为true使用非公平锁。
poolPreparedStatements	false	是否缓存preparedStatement，也就是PSCache。 PSCache对支持游标的数据库性能提升巨大，比如说oracle。在mysql5.5以下的版本中没有PSCache功能，建议关闭掉。作者在5.5版本中使用PSCache，通过监控界面发现PSCache有缓存命中率记录，该应该是支持PSCache。
maxOpenPreparedStatements	-1	要启用PSCache，必须配置大于0，当大于0时， poolPreparedStatements自动触发修改为true。在Druid中，不会存在Oracle下PSCache占用内存过多的问题，可以把这个数值配置大一些，比如说100
validationQuery		用来检测连接是否有效的sql，要求是一个查询语句。如果validationQuery为null，testOnBorrow、testOnReturn、 testWhileIdle都不会其作用。
testOnBorrow	true	申请连接时执行validationQuery检测连接是否有效，做了这个配置会降低性能。
testOnReturn	false	归还连接时执行validationQuery检测连接是否有效，做了这个配置会降低性能
testWhileIdle	true	建议配置为true，不影响性能，并且保证安全性。申请连接的时候检测，如果空闲时间大于 timeBetweenEvictionRunsMillis，执行validationQuery检测连接是否有效。
timeBetweenEvictionRunsMillis		有两个含义： 1) Destroy线程会检测连接的间隔时间 2) testWhileIdle的判断依据，详细看testWhileIdle属性的说明
numTestsPerEvictionRun		不再使用，一个DruidDataSource只支持一个EvictionRun
connectionInitSqls		物理连接初始化的时候执行的sql
exceptionSorter	根据dbType自动识别	当数据库抛出一些不可恢复的异常时，抛弃连接
filters		属性类型是字符串，通过别名的方式配置扩展插件，常用的插件有：监控统计用的filter:stat 日志用的filter:log4j 防御sql注入的filter:wall
proxyFilters		类型是List<com.alibaba.druid.filter.Filter>，如果同时配置了filters和proxyFilters，是组合关系，并非替换关系

详细的信息请查阅：https://github.com/alibaba/druid/wiki/使用ConfigFilter

* 过滤器

因为我们项目中使用使用了数据库的中间件mycat，通过mycat去连接不同的数据库，这时我们的sql语句就需要改变了，在sql前增加一段注释："/* !mycat:schema = " + schema + " */ " +sql ，因此我们做了一些改造，对插件进行扩展，增加过滤器类，同时在filter中指定配置。

配置类如下，集成wallFilter，我们想到这个过滤器会对sql注入做一些拦截，因此我们可以在这个地方“做手脚”，code如下：

public class DruidMycatFilter extends WallFilter implements Filter {
    /**
     * 可增加myCat注解,用于分库分表
     *
     * @param sql 原始sql
     * @return 返回值
     * @throws SQLException 异常
     */
    @Override
    public String check(String sql) throws SQLException {
        if (TenancyContext.TenancyID.get()!=null){
            String schema = TenancyContext.TenancyID.get();
            String schemaSql = "/* !mycat:schema = " + schema + " */ ";
            sql=sql.startsWith(schemaSql) ? sql : schemaSql + sql;
        }
        return sql;
    }

    @Override
    public boolean preparedStatement_execute(FilterChain chain, PreparedStatementProxy statement) throws SQLException {
        return chain.preparedStatement_execute(statement);
    }

    @Override
    public PreparedStatementProxy connection_prepareStatement(FilterChain chain, ConnectionProxy connection, String sql)
            throws SQLException {
        sql = check(sql);
        PreparedStatementProxy stmt = chain.connection_prepareStatement(connection, sql);
        setSqlStatAttribute(stmt);
        return stmt;
    }

    @Override
    public PreparedStatementProxy connection_prepareStatement(FilterChain chain, ConnectionProxy connection,
                                                              String sql, int autoGeneratedKeys) throws SQLException {
        sql = check(sql);
        PreparedStatementProxy stmt = chain.connection_prepareStatement(connection, sql, autoGeneratedKeys);
        setSqlStatAttribute(stmt);
        return stmt;
    }

    @Override
    public PreparedStatementProxy connection_prepareStatement(FilterChain chain, ConnectionProxy connection,
                                                              String sql, int resultSetType, int resultSetConcurrency)
            throws SQLException {
        sql = check(sql);
        PreparedStatementProxy stmt = chain.connection_prepareStatement(connection, sql, resultSetType,
                resultSetConcurrency);
        setSqlStatAttribute(stmt);
        return stmt;
    }

    @Override
    public PreparedStatementProxy connection_prepareStatement(FilterChain chain, ConnectionProxy connection,
                                                              String sql, int resultSetType, int resultSetConcurrency,
                                                              int resultSetHoldability) throws SQLException {
        sql = check(sql);
        PreparedStatementProxy stmt = chain.connection_prepareStatement(connection, sql, resultSetType,
                resultSetConcurrency, resultSetHoldability);
        setSqlStatAttribute(stmt);
        return stmt;
    }

    @Override
    public PreparedStatementProxy connection_prepareStatement(FilterChain chain, ConnectionProxy connection,
                                                              String sql, int[] columnIndexes) throws SQLException {
        sql = check(sql);
        PreparedStatementProxy stmt = chain.connection_prepareStatement(connection, sql, columnIndexes);
        setSqlStatAttribute(stmt);
        return stmt;
    }

    @Override
    public PreparedStatementProxy connection_prepareStatement(FilterChain chain, ConnectionProxy connection,
                                                              String sql, String[] columnNames) throws SQLException {
        sql = check(sql);
        PreparedStatementProxy stmt = chain.connection_prepareStatement(connection, sql, columnNames);
        setSqlStatAttribute(stmt);
        return stmt;
    }

    @Override
    public CallableStatementProxy connection_prepareCall(FilterChain chain, ConnectionProxy connection, String sql)
            throws SQLException {
        sql = check(sql);
        CallableStatementProxy stmt = chain.connection_prepareCall(connection, sql);
        setSqlStatAttribute(stmt);
        return stmt;
    }

    @Override
    public CallableStatementProxy connection_prepareCall(FilterChain chain, ConnectionProxy connection, String sql,
                                                         int resultSetType, int resultSetConcurrency)
            throws SQLException {
        sql = check(sql);
        CallableStatementProxy stmt = chain.connection_prepareCall(connection, sql, resultSetType,
                resultSetConcurrency);
        setSqlStatAttribute(stmt);
        return stmt;
    }

    @Override
    public CallableStatementProxy connection_prepareCall(FilterChain chain, ConnectionProxy connection, String sql,
                                                         int resultSetType, int resultSetConcurrency,
                                                         int resultSetHoldability) throws SQLException {
        sql = check(sql);
        CallableStatementProxy stmt = chain.connection_prepareCall(connection, sql, resultSetType,
                resultSetConcurrency, resultSetHoldability);
        setSqlStatAttribute(stmt);
        return stmt;
    }
}

新建META-INF，在下面添加properties配置文件，增加我们新配置的类：

druid.filters.mycat=XXX.DruidMycatFilter

同时在filter中增加mycat配置

<property name="filters" value="mycat,stat,config"/>

* 待续

通过druid的学习，更像一个平台，把我们很多知识都可以关联起来，而在项目中去实践和体会，便是这样一个反复的过程。后续会更深入学习，感谢您的阅读。