Java对接ByteHouse(数仓版)并使用Mybatis Plus@DS多数据源

原创已于 2024-10-25 11:28:54 修改

· 1.1k 阅读

15 ·

版权

文章标签：

#mybatis

于 2024-10-25 11:28:28 首次发布

一、为什么需要多数据源切换？

随着应用复杂度的提升，单一数据库很难满足不同业务场景的需求。例如：

MySQL/Oracle：经典的关系型数据库，用于存储用户、订单、商品等核心业务数据，支持复杂的事务和数据关系。
ByteHouse/ClickHouse：现代化的列式数据库，非常适合对日志数据、监控数据、行为分析等大数据场景的实时处理和查询，具备高并发读写能力。

在这种情况下，如何便捷地在多个数据源之间切换，便成为了系统开发中的重要一环。MyBatis Plus 提供的 @DS 注解，结合动态数据源的配置，可以非常方便地实现数据库的切换。

二、MyBatis Plus 如何连接 ByteHouse (数仓版)数据源

MyBatis Plus 之所以能够连接 ByteHouse 数据源，因为 ByteHouse 提供了兼容 JDBC 驱动程序，能够通过标准 JDBC 方式与应用程序交互。而 MyBatis Plus 作为 MyBatis 的增强工具，天然支持 JDBC 驱动程序连接。配置 ByteHouse 的 JDBC 驱动和参数，我们就能够像连接其他关系型数据库一样，轻松地连接并操作 ByteHouse 数据源。

MyBatis Plus 中使用 @DS 注解对不同数据源动态切换，结合 ByteHouse 的 JDBC 驱动使得多数据源管理更加便捷。在 Spring 应用中，配置 ByteHouse 数据源并通过 @DS 注解进行调用，可以实现对 ByteHouse 的高效使用，特别适合需要高性能数据分析的场景。

@DS 是 MyBatis Plus 提供的一个注解，允许我们在执行某个数据操作时，指定具体的数据源。这使得我们可以很方便地在 MySQL、Oracle、ByteHouse 和 ClickHouse 之间切换数据源，而无需手动更改配置文件或代码逻辑。

使用 @DS 注解可以极大地减少切换数据源的复杂度。例如，我们只需在特定方法上加上 @DS("数据源名称")，MyBatis Plus 就会自动切换到指定的数据源，执行SQL 操作。

三、`@PostConstruct` 和 `DataSourceConfig` 的作用

在数据源配置类 DataSourceConfig 中，我们使用了 @PostConstruct 注解来确保在 Spring 容器加载该类后立即执行 init() 方法。

1. `@PostConstruct` 注解简介

@PostConstruct 是 Java EE 提供的注解，常用于在依赖注入完成后执行初始化工作。它的典型用途是在 Bean 初始化后立即执行特定逻辑，比如配置数据源、建立连接等。对于 DataSourceConfig 来说，@PostConstruct 确保数据源配置在应用启动阶段正确加载。

2. `DataSourceConfig` 相当于在 `application.yml` 中动态配置数据源

DataSourceConfig 类通过编程的方式定义和注册数据源，功能上等同于在 application.yml 中配置数据源。这种方式提供了更高的灵活性，比如可以根据不同的运行环境动态地设置数据源，而不需要在每次环境变化时修改 yml 文件。

通过调用 dynamicRoutingDataSource.addDataSource() 方法，我们可以将新创建的数据源动态注册到系统中，这与在 application.yml 中进行静态配置的效果是一致的。这样使得数据源的管理更加灵活，特别适用于需要在运行时动态增减数据源的应用。

四、如何使用 `@DS` 注解实现多数据源切换

以下是一个具体的例子，通过配置多数据源以及在方法上使用 @DS 注解来动态切换数据源。

1. 数据源配置类

首先，在 DataSourceConfig 中注册不同的数据源。在这个例子中，我们动态地添加 ByteHouse 数据源：

import com.alibaba.druid.pool.DruidDataSource;
import com.baomidou.dynamic.datasource.DynamicRoutingDataSource;
import org.springframework.context.annotation.Configuration;
import javax.annotation.PostConstruct;
import javax.annotation.Resource;

@Configuration
public class DDataSourceConfig{

    @Resource
    private DynamicRoutingDataSource dynamicRoutingDataSource;

    @PostConstruct
    public void init() {
        DruidDataSource dataSource = new DruidDataSource();
        try {
            dataSource.setUrl("jdbc:bytehouse://域名:端口号/库名?api_key=ByteHouse控制台生成的密钥");
            dataSource.setDriverClassName("com.bytedance.bytehouse.jdbc.ByteHouseDriver");
            dataSource.setUsername("");
            dataSource.setPassword("");
            dataSource.setInitialSize(5);
            dataSource.setMaxActive(20);
            dataSource.setMinIdle(5);
            
            dynamicRoutingDataSource.addDataSource("bytehouseDataSource", dataSource);
        } catch (Exception e) {
            e.printStackTrace();
            throw new RuntimeException("DataSource initialization failed", e);
        }
    }
}

在这个配置类中，我们添加了一个 ByteHouse 数据源。通过 DynamicRoutingDataSource 的 addDataSource 方法，可以动态地将数据源添加到系统中。

2. 在业务层使用 `@DS` 注解

一旦我们在配置中注册了多数据源，接下来就可以在业务层代码中使用 @DS 注解进行数据源的切换。

import com.baomidou.dynamic.datasource.annotation.DS;
import org.springframework.stereotype.Service;

@Service
public class OrderService {
    
    @DS("mysqlDataSource")
    public void getOrderFromMySQL() {
        // 从 MySQL 数据库获取订单
    }
    
    @DS("oracleDataSource")
    public void getOrderFromOracle() {
        // 从 Oracle 数据库获取订单
    }
    
    @DS("clickhouseDataSource")
    public void getAnalyticsFromClickHouse() {
        // 从 ClickHouse 数据库获取分析数据
    }
    
    @DS("bytehouseDataSource")
    public void getAnalyticsFromByteHouse() {
        // 从 ByteHouse 数据库获取分析数据
    }
}

在上述代码中，可以通过 @DS("数据源名称") 注解来指定具体使用哪个数据源。通过这种方式，我们可以轻松地在 MySQL、Oracle、ClickHouse、ByteHouse 之间进行切换，避免了复杂的手动配置切换过程。

3. 在 `application.yml` 中配置多数据源

为了使动态数据源配置更加方便管理，可以在 Spring Boot 的 application.yml 中配置多个数据源，例如：但是，不能管理byteHouse，我试过

spring:
  datasource:
    ddynamic
      primary: mysqlDataSource  # 设置默认的数据源
      datasource:
        mysqlDataSource:
          driver-class-name: com.mysql.cj.jdbc.Driver
          url: jdbc:mysql://localhost:3306/your_database
          username: root
          password: your_password

        oracleDataSource:
          driver-class-name: oracle.jdbc.OracleDriver
          url: jdbc:oracle:thin:@localhost:1521:xe
          username: oracle_user
          password: oracle_password

        clickhouseDataSource:
          driver-class-name: ru.yandex.clickhouse.ClickHouseDriver
          url: jdbc:clickhouse://localhost:8123/your_clickhouse_db
          username: default
          password: clickhouse_password