Apache Phoenix 删除亿级数据心得

Phoenix最早是saleforce的一个开源项目，后来成为Apache基金的顶级项目。

Phoenix是构建在HBase上的一个SQL层，能让我们用标准的JDBC APIs而不是HBase客户端APIs来创建表，插入数据和对HBase数据进行查询。

Phoenix完全使用Java编写，作为HBase内嵌的JDBC驱动。Phoenix查询引擎会将SQL查询转换为一个或多个HBase扫描，并编排执行以生成标准的JDBC结果集。直接使用HBase API、协同处理器与自定义过滤器，对于简单查询来说，其性能量级是毫秒，对于百万级别的行数来说，其性能量级是秒。

---

上面是Phoenix的整体介绍。由于项目中运用了phoenix，一直在增量的导入数据。导致Phoenix的空间不足。但是项目中只用到一个月以内的数据。所以，要进行冗余数据的删除的。

第一次实现：

DruidDataSource的数据源，导致报错MutationState size of 512000 isbigger than max allowed size of 500000 代码如下：

<!--配置文件-->

 <bean id="phoenixDataSource" class="com.alibaba.druid.pool.DruidDataSource" init-method="init" destroy-method="close">
    <!-- 基本属性 url、user、password -->
    <property name="url" value="${phoenix.url}"/>
    <property name="username" value="${phoenix.instanceNumber}"/>
    <property name="password" value="${phoenix.accessKey}"/>
    <property name="driverClassName" value="${phoenix.driver}"/>

    <!-- 配置初始化大小、最小、最大 -->
    <property name="initialSize" value="2"/>
    <property name="minIdle" value="2"/>
    <property name="maxActive" value="30"/>

    <!-- 配置获取连接等待超时的时间 -->
    <property name="maxWait" value="600000"/>

    <!-- 配置间隔多久才进行一次检测，检测需要关闭的空闲连接，单位是毫秒 -->
    <property name="timeBetweenEvictionRunsMillis" value="30000"/>

    <!-- 配置一个连接在池中最小生存的时间，单位是毫秒 -->
    <property name="minEvictableIdleTimeMillis" value="300000"/>

    <property name="validationQuery" value="SELECT 'x'"/>
    <property name="testWhileIdle" value="true"/>
    <property name="testOnBorrow" value="false"/>
    <property name="testOnReturn" value="false"/>

    <!-- 打开PSCache，并且指定每个连接上PSCache的大小 -->
    <property name="poolPreparedStatements" value="false"/>
    <property name="maxPoolPreparedStatementPerConnectionSize" value="-1"/>

    <!-- 配置监控统计拦截的filters -->
    <property name="filters" value="stat"/>
</bean>

 
 @Resource(name = "phoenixDataSource")
 private DruidDataSource phoenixDataSource;
	
 public Integer delete(String sql, Object... params) throws Exception {
            Connection conn = null;
            PreparedStatement statement = null;
            try {

                conn = phoenixDataSource.getConnection();
                conn.setAutoCommit(false);
                statement = conn.prepareStatement(sql);
                fillParameter(statement, param