Druid是什么和Druid的介绍

本文介绍Druid作为高性能数据库连接池的特点及其配置方法。Druid不仅提供高效的连接管理,还支持SQL性能监控、日志记录及密码加密等功能。

Druid的简介

Druid首先是一个数据库连接池。Druid是目前最好的数据库连接池,在功能、性能、扩展性方面,都超过其他数据库连接池,包括DBCP、C3P0、BoneCP、Proxool、JBoss DataSource。Druid已经在阿里巴巴部署了超过600个应用,经过一年多生产环境大规模部署的严苛考验。Druid是阿里巴巴开发的号称为监控而生的数据库连接池!

同时Druid不仅仅是一个数据库连接池,它包括四个部分:

    Druid是一个JDBC组件,它包括三个部分:

    基于Filter-Chain模式的插件体系。

    DruidDataSource 高效可管理的数据库连接池。

    SQLParser

Druid的功能

1、替换DBCP和C3P0。Druid提供了一个高效、功能强大、可扩展性好的数据库连接池。

2、可以监控数据库访问性能,Druid内置提供了一个功能强大的StatFilter插件,能够详细统计SQL的执行性能,这对于线上分析数据库访问性能有帮助。

3、数据库密码加密。直接把数据库密码写在配置文件中,这是不好的行为,容易导致安全问题。DruidDruiver和DruidDataSource都支持PasswordCallback。

4、SQL执行日志,Druid提供了不同的LogFilter,能够支持Common-Logging、Log4j和JdkLog,你可以按需要选择相应的LogFilter,监控你应用的数据库访问情况。

5、扩展JDBC,如果你要对JDBC层有编程的需求,可以通过Druid提供的Filter机制,很方便编写JDBC层的扩展插件。

所以Druid可以:
1、充当数据库连接池。
2、可以监控数据库访问性能
3、获得SQL执行日志

简单配置如下:

  1. <bean id="dataSource" class="com.alibaba.druid.pool.DruidDataSource" destroy-method="close">  
  2.     <property value="${jdbc_url}" name="url"></property>  
  3.     <property value="${jdbc_user}" name="username"></property>  
  4.     <property value="${jdbc_password}" name="password"></property>  
  5.    
  6.     <property value="stat" name="filters"></property>  
  7.    
  8.     <property value="20" name="maxActive"></property>  
  9.     <property value="1" name="initialSize"></property>  
  10.     <property value="60000" name="maxWait"></property>  
  11.     <property value="1" name="minIdle"></property>  
  12.    
  13.     <property value="60000" name="timeBetweenEvictionRunsMillis"></property>  
  14.     <property value="300000" name="minEvictableIdleTimeMillis"></property>  
  15.    
  16.     <property value="SELECT 'x'" name="validationQuery"></property>  
  17.     <property value="true" name="testWhileIdle"></property>  
  18.     <property value="false" name="testOnBorrow"></property>  
  19.     <property value="false" name="testOnReturn"></property>  
  20.     <property value="true" name="poolPreparedStatements"></property>  
  21.     <property value="20" name="maxPoolPreparedStatementPerConnectionSize"></property>  
  22. </bean> 


3、Web.xml配置

<servlet>
      <servlet-name>DruidStatView</servlet-name>
      <servlet-class>com.alibaba.druid.support.http.StatViewServlet</servlet-class>
    </servlet>
    <servlet-mapping>
      <servlet-name>DruidStatView</servlet-name>
      <url-pattern>/druid/*</url-pattern>
    </servlet-mapping>

至此基本配置完成,可以查看内置监控页面了,路径是/druid/index.html,

2015 八月
11

利用Druid实现应用和SQL监控

一、关于Druid

Druid是一个JDBC组件,它包括三部分: 

  • DruidDriver 代理Driver,能够提供基于Filter-Chain模式的插件体系。 

  • DruidDataSource 高效可管理的数据库连接池。 

  • SQLParser 

Druid可以做什么? 

1) 可以监控数据库访问性能,Druid内置提供了一个功能强大的StatFilter插件,能够详细统计SQL的执行性能,这对于线上分析数据库访问性能有帮助。 

2) 替换DBCPC3P0。Druid提供了一个高效、功能强大、可扩展性好的数据库连接池。 

3) 数据库密码加密。直接把数据库密码写在配置文件中,这是不好的行为,容易导致安全问题。DruidDruiver和DruidDataSource都支持PasswordCallback。 

4) SQL执行日志,Druid提供了不同的LogFilter,能够支持Common-LoggingLog4j和JdkLog,你可以按需要选择相应的LogFilter,监控你应用的数据库访问情况。 

扩展JDBC,如果你要对JDBC层有编程的需求,可以通过Druid提供的Filter-Chain机制,很方便编写JDBC层的扩展插件。

Druid开源中国社区地址:http://www.oschina.net/p/druid


二、工程配置

1、工程引入druid-1.0.15.jar

2、数据源配置

<bean id="dataSource" class="com.alibaba.druid.pool.DruidDataSource" destroy-method="close" lazy-init="false">
<property name="driverClassName" value="#{db.driver}" />
<property name="url" value="#{db.url}" />
<property name="username" value="#{db.user}" />
<property name="password" value="#{db.password}" />
<property name="initialSize" value="1" />
<property name="maxActive" value="50" />
<property name="maxIdle" value="0" />
<property name="maxWait" value="30000" />

<property name="filters" value="stat,wall" />
<property name="timeBetweenEvictionRunsMillis" value="3000" />  
<property name="minEvictableIdleTimeMillis" value="300000" />  
<property name="validationQuery" value="SELECT 'x'" />  
<property name="testWhileIdle" value="true" />  
<property name="testOnBorrow" value="false" />  
<property name="testOnReturn" value="false" />  
<property name="poolPreparedStatements" value="true" />  
<property name="maxPoolPreparedStatementPerConnectionSize" value="20" />
</bean>

详细参数说明

配置 缺省值 说明
name   配置这个属性的意义在于,如果存在多个数据源,监控的时候
可以通过名字来区分开来。如果没有配置,将会生成一个名字,
格式是:”DataSource-” + System.identityHashCode(this)
jdbcUrl   连接数据库的url,不同数据库不一样。例如:
mysql : jdbc:mysql://10.20.153.104:3306/druid2 
oracle : jdbc:oracle:thin:@10.20.149.85:1521:ocnauto
username   连接数据库的用户名
password   连接数据库的密码。如果你不希望密码直接写在配置文件中,
可以使用ConfigFilter。详细看这里:
https://github.com/alibaba/druid/wiki/%E4%BD%BF%E7%94%A8ConfigFilter
driverClassName 根据url自动识别 这一项可配可不配,如果不配置druid会根据url自动识别dbType,
然后选择相应的driverClassName
initialSize 0 初始化时建立物理连接的个数。初始化发生在显示调用init方法,
或者第一次getConnection时
maxActive 8 最大连接池数量
maxIdle 8 已经不再使用,配置了也没效果
minIdle   最小连接池数量
maxWait   获取连接时最大等待时间,单位毫秒。配置了maxWait之后,
缺省启用公平锁,并发效率会有所下降,
如果需要可以通过配置useUnfairLock属性为true使用非公平锁。
poolPreparedStatements false 是否缓存preparedStatement,也就是PSCache。
PSCache对支持游标的数据库性能提升巨大,比如说oracle。
在mysql5.5以下的版本中没有PSCache功能,建议关闭掉。
5.5及以上版本有PSCache,建议开启。
maxOpenPreparedStatements -1 要启用PSCache,必须配置大于0,当大于0时,
poolPreparedStatements自动触发修改为true。
在Druid中,不会存在Oracle下PSCache占用内存过多的问题,
可以把这个数值配置大一些,比如说100
validationQuery   用来检测连接是否有效的sql,要求是一个查询语句。
如果validationQuery为null,testOnBorrow、testOnReturn、
testWhileIdle都不会其作用。
testOnBorrow true 申请连接时执行validationQuery检测连接是否有效,
做了这个配置会降低性能。
testOnReturn false 归还连接时执行validationQuery检测连接是否有效,
做了这个配置会降低性能
testWhileIdle false 建议配置为true,不影响性能,并且保证安全性。
申请连接的时候检测,如果空闲时间大于
timeBetweenEvictionRunsMillis,
执行validationQuery检测连接是否有效。
timeBetweenEvictionRunsMillis   有两个含义:
1) Destroy线程会检测连接的间隔时间
 2) testWhileIdle的判断依据,详细看testWhileIdle属性的说明
numTestsPerEvictionRun   不再使用,一个DruidDataSource只支持一个EvictionRun
minEvictableIdleTimeMillis    
connectionInitSqls   物理连接初始化的时候执行的sql
exceptionSorter 根据dbType自动识别 当数据库抛出一些不可恢复的异常时,抛弃连接
filters   属性类型是字符串,通过别名的方式配置扩展插件,
常用的插件有:
监控统计用的filter:stat 
日志用的filter:log4j
 防御sql注入的filter:wall
proxyFilters   类型是List<com.alibaba.druid.filter.Filter>,
如果同时配置了filters和proxyFilters,
是组合关系,并非替换关系


3、Web.xml配置

<servlet>
      <servlet-name>DruidStatView</servlet-name>
      <servlet-class>com.alibaba.druid.support.http.StatViewServlet</servlet-class>
    </servlet>
    <servlet-mapping>
      <servlet-name>DruidStatView</servlet-name>
      <url-pattern>/druid/*</url-pattern>
    </servlet-mapping>

至此基本配置完成,可以查看内置监控页面了,路径是/druid/index.html,

完整路径是http://127.0.0.1:8080/druid/index.html

如果还需要使用Web应用、URI监控、Session监控、Spring监控等则还需要继续增加配置。

4、Wen应用配置

WebStatFilter用于采集web-jdbc关联监控的数据

在Web.xml中增加配置,就可以使用Web应用、URI监控、Session监控等功能

<filter>
    <filter-name>DruidWebStatFilter</filter-name>
    <filter-class>com.alibaba.druid.support.http.WebStatFilter</filter-class>
    <init-param>
        <param-name>exclusions</param-name>
        <param-value>*.js,*.gif,*.jpg,*.png,*.css,*.ico,/druid/*</param-value>
    </init-param>
    <init-param>
    	<param-name>profileEnable</param-name>
    	<param-value>true</param-value>
	</init-param>
	<init-param>
        <param-name>principalCookieName</param-name>
        <param-value>USER_COOKIE</param-value>
    </init-param>
    <init-param>
        <param-name>principalSessionName</param-name>
        <param-value>USER_SESSION</param-value>
    </init-param>
  </filter>
  <filter-mapping>
    <filter-name>DruidWebStatFilter</filter-name>
  <url-pattern>/*</url-pattern>
  </filter-mapping>
5、Spring监控配置

在Spring配置文件中增加

<bean id="druid-stat-interceptor" class="com.alibaba.druid.support.spring.stat.DruidStatInterceptor">
    </bean>
<bean id="druid-stat-pointcut" class="org.springframework.aop.support.JdkRegexpMethodPointcut" scope="prototype">
   <property name="patterns">
       <list>
           <value>com.company.bussines.service.*</value>
           <value>com.company.bussines.dao.*</value>
       </list>
   </property>
</bean>

<aop:config proxy-target-class="true">
   <aop:advisor advice-ref="druid-stat-interceptor" pointcut-ref="druid-stat-pointcut" />
</aop:config>

所有配置完成。



Druid SQL 是 Apache Druid 提供的一种查询语言,用于对 Druid 数据存储中的数据进行高效分析查询。它与标准的 SQL 非常相似,但在语法功能上进行了扩展,以更好地支持 Druid 的 OLAP(在线分析处理)特性。Druid SQL 使得用户可以使用熟悉的 SQL 接口来操作分析大规模实时数据集。 ### 定义 Druid SQL 是一种基于 SQL 的查询语言,专门设计用于与 Druid 数据存储交互。它支持常见的 SQL 操作,如 `SELECT`、`GROUP BY`、`WHERE` 条件过滤、`JOIN` 等,并提供了针对时间序列数据聚合操作的优化[^2]。 ### 用途 1. **数据分析**:Druid SQL 主要用于对存储在 Druid 中的大规模数据集进行快速分析,尤其是在需要实时或近实时响应的场景中。 2. **报表生成**:通过聚合函数分组操作,Druid SQL 可以用于生成各种统计报表,支持复杂的业务智能(BI)需求。 3. **监控与日志分析**:Druid 的列式存储高效的过滤能力使其非常适合用于监控系统日志分析平台,Druid SQL 提供了便捷的方式来查询这些数据。 4. **多维分析**:Druid 支持多维数据分析(OLAP),Druid SQL 提供了对维度(dimensions)指标(metrics)的操作支持,便于进行切片、切块等分析操作[^2]。 ### 特点 1. **高性能查询**:Druid SQL 利用了 Druid 的列式存储倒排索引特性,能够在大规模数据集上实现快速查询响应。 2. **实时分析能力**:Druid 支持实时数据摄入,Druid SQL 可以直接对这些实时数据进行查询分析,无需等待批处理完成。 3. **丰富的聚合函数**:Druid SQL 提供了多种内置的聚合函数,如 `SUM`、`COUNT`、`MIN`、`MAX`、`AVG` 等,并支持自定义聚合函数。 4. **时间序列优化**:Druid SQL 对时间序列数据进行了特别优化,支持按时间区间进行高效过滤聚合操作。 5. **分布式架构支持**:Druid SQL 查询可以在分布式环境中执行,充分利用集群资源,提升查询性能。 6. **兼容性**:Druid SQL 支持与多种 BI 工具集成,如 Superset、Tableau 等,提供良好的兼容性易用性[^2]。 ### 示例代码 以下是一个简单的 Druid SQL 查询示例,展示了如何对 Druid 数据源进行基本的聚合查询: ```sql SELECT __time AS hour, SUM(clicks) AS total_clicks, COUNT(DISTINCT user_id) AS unique_users FROM ad_events WHERE __time >= '2023-01-01' AND __time < '2023-01-02' GROUP BY hour ORDER BY hour ASC; ``` 在这个查询中: - `__time` 是 Druid 中的时间列,默认情况下按小时粒度进行聚合。 - `clicks` `user_id` 是预定义的指标维度。 - 查询结果按小时分组,计算每个小时的总点击数独立用户数。 ###
评论 3
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值