Spring + iBatis 的多库横向切分简易解决思路

1.引言     笔者最近在做一个互联网的“类SNS”应用，应用中用户数量巨大（约4000万）左右，因此，简单的使用传统单一数据库存储肯定是不行的。     参考了业内广泛使用的分库分表，以及使用DAL数据访问层等的做法，笔者决定使用一种最简单的数据源路由选择方式来解决问题。     严格的说，目前的实现不能算是一个解决方案，只能是一种思路的简易实现，笔者也仅花了2天时间来完成（其中1.5天是在看资料和Spring/ibatis的源码）。这里也只是为各位看官提供一个思路参考，顺便给自己留个笔记  2.系统的设计前提     我们的系统使用了16个数据库实例（目前分布在2台物理机器上，后期将根据系统负荷的增加，逐步移库到16台物理机器上）。16个库是根据用户的UserID进行简单的hash分配。这里值得一说的是，我们既然做了这样的横向切分设计，就已经考虑了系统需求的特性，  1.不会发生经常性的跨库访问。 2.主要的业务逻辑都是围绕UserID为核心的，在一个单库事务内即可完成。    在系统中，我们使用Spring和iBatis。Spring负责数据库的事务管理AOP，以及Bean间的IOC。选择iBatis的最大原因是对Sql的性能优化，以及后期如果有分表要求的时，可以很容易实现对sql表名替换。  3.设计思路     首先，要说明一下笔者的思路，其实很简单，即“在每次数据库操作前，确定当前要选择的数据库对象”而后就如同访问单库一样的访问当前选中的数据库即可。     其次，要在每次DB访问前选择数据库，需要明确几个问题，1.iBatis在什么时候从DataSource中取得具体的数据库Connection的，2.对取得的Connection，iBatis是否进行缓存，因为在多库情况下Connection被缓存就意味着无法及时改变数据库链接选择。3.由于我们使用了Spring来管理DB事务，因此必须搞清Spring对DB Connction的开关拦截过程是否会影响多DataSource的情况。     幸运的是，研究源码的结果发现，iBatis和Spring都是通过标准的DataSource接口来控制  Connection的，这就为我们省去了很多的麻烦，只需要实现一个能够支持多个数据库的DataSource，就能达到我们的目标。  4.代码与实现  多数据库的DataSource实现：MultiDataSource.class  Java代码   import java.io.PrintWriter;   import java.sql.Connection;   import java.sql.SQLException;   import java.util.ArrayList;   import java.util.Collection;   import java.util.HashMap;   import java.util.Map;      import javax.sql.DataSource;      import org.apache.log4j.Logger;      import com.xxx.sql.DataSourceRouter.RouterStrategy;      /**   * 复合多数据源（Alpha）   * @author linliangyi2005@gmail.com   * Jul 15, 2010   */   public class MultiDataSource implements DataSource {              static Logger logger = Logger.getLogger(MultiDataSource.class);              //当前线程对应的实际DataSource       private ThreadLocal<DataSource> currentDataSourceHolder = new ThreadLocal<DataSource>();       //使用Key-Value映射的DataSource       private Map<String , DataSource> mappedDataSources;       //使用横向切分的分布式DataSource       private ArrayList<DataSource> clusterDataSources;              public MultiDataSource(){           mappedDataSources = new HashMap<String , DataSource>(4);           clusterDataSources = new ArrayList<DataSource>(4);       }              /**       * 数据库连接池初始化       * 该方法通常在web 应用启动时调用       */       public void initialMultiDataSource(){           for(DataSource ds : clusterDataSources){               if(ds != null){                   Connection conn = null;                   try {                       conn = ds.getConnection();                                     } catch (SQLException e) {                       e.printStackTrace();                   } finally{                       if(conn != null){                           try {                               conn.close();                           } catch (SQLException e) {                               e.printStackTrace();                           }                           conn = null;                       }                   }               }           }           Collection<DataSource> dsCollection = mappedDataSources.values();           for(DataSource ds : dsCollection){               if(ds != null){                   Connection conn = null;                   try {                       conn = ds.getConnection();                   } catch (SQLException e) {                       e.printStackTrace();                   } finally{                       if(conn != null){                           try {                               conn.close();                           } catch (SQLException e) {                               e.printStackTrace();                           }                           conn = null;                       }                   }               }           }       }       /**       * 获取当前线程绑定的DataSource       * @return       */       public DataSource getCurrentDataSource() {           //如果路由策略存在，且更新过，则根据路由算法选择新的DataSource           RouterStrategy strategy = DataSourceRouter.currentRouterStrategy.get();           if(strategy == null){               throw new IllegalArgumentException("DataSource RouterStrategy No found.");           }                  if(strategy != null && strategy.isRefresh()){                          if(RouterStrategy.SRATEGY_TYPE_MAP.equals(strategy.getType())){                   this.choiceMappedDataSources(strategy.getKey());                                  }else if(RouterStrategy.SRATEGY_TYPE_CLUSTER.equals(strategy.getType())){                   this.routeClusterDataSources(strategy.getRouteFactor());               }                          strategy.setRefresh(false);           }           return currentDataSourceHolder.get();       }          public Map<String, DataSource> getMappedDataSources() {           return mappedDataSources;       }          public void setMappedDataSources(Map<String, DataSource> mappedDataSources) {           this.mappedDataSources = mappedDataSources;       }          public ArrayList<DataSource> getClusterDataSources() {           return clusterDataSources;       }          public void setClusterDataSources(ArrayList<DataSource> clusterDataSources) {           this.clusterDataSources = clusterDataSources;       }              /**       * 使用Key选择当前的数据源       * @param key       */       public void choiceMappedDataSources(String key){           DataSource ds = this.mappedDataSources.get(key);           if(ds == null){               throw new IllegalStateException("No Mapped DataSources Exist!");           }           this.currentDataSourceHolder.set(ds);       }              /**       * 使用取模算法，在群集数据源中做路由选择       * @param routeFactor       */       public void routeClusterDataSources(int routeFactor){           int size = this.clusterDataSources.size();           if(size == 0){               throw new IllegalStateException("No Cluster DataSources Exist!");           }           int choosen = routeFactor % size;           DataSource ds = this.clusterDataSources.get(choosen);           if(ds == null){               throw new IllegalStateException("Choosen DataSources is null!");           }           logger.debug("Choosen DataSource No." + choosen+ " : " + ds.toString());           this.currentDataSourceHolder.set(ds);       }          /* (non-Javadoc)       * @see javax.sql.DataSource#getConnection()       */       public Connection getConnection() throws SQLException {           if(getCurrentDataSource() != null){               return getCurrentDataSource().getConnection();           }           return null;       }          /* (non-Javadoc)       * @see javax.sql.DataSource#getConnection(java.lang.String, java.lang.String)       */       public Connection getConnection(String username, String password)               throws SQLException {           if(getCurrentDataSource() != null){               return getCurrentDataSource().getConnection(username , password);           }           return null;       }          /* (non-Javadoc)       * @see javax.sql.CommonDataSource#getLogWriter()       */       public PrintWriter getLogWriter() throws SQLException {           if(getCurrentDataSource() != null){               return getCurrentDataSource().getLogWriter();           }           return null;       }          /* (non-Javadoc)       * @see javax.sql.CommonDataSource#getLoginTimeout()       */       public int getLoginTimeout() throws SQLException {           if(getCurrentDataSource() != null){               return getCurrentDataSource().getLoginTimeout();           }           return 0;       }          /* (non-Javadoc)       * @see javax.sql.CommonDataSource#setLogWriter(java.io.PrintWriter)       */       <span class="keyword" style="color: rgb(127%2