Springboot使用策略模式实现数据插入不同类型数据库

需求:前端会传来一些图片数据,比如图片名称,图片长宽、大小等。后端需要根据实际情况存入mysql、oracle、clickhouse等不同的数据库。

上面的需求是一个非常好的使用策略模式实现的例子。

Mapper层

定义一个顶级接口,主要定义操作图片数据的方法,这里只写了一个图片插入的方法。

/**
 * 图片操作mapper
 *
 */
public interface ImageMapper {

    /**
     * 返回数据库类型
     *
     * @return 数据库类型
     */
    String databaseType();

    /**
     * 图片插入方法
     *
     * @param image 图片对象
     */
    void insertImageRecord(ImageBean image);
}

定义不同的操作数据库的mapper,下面定义一个操作clickhouse的mapper,注意定义对应的mapper.xml文件,这里不体现。

@Mapper
public interface ClickhouseImageMapper extends ImageMapper {

    /**
     * 返回数据库类型
     * @return 数据库类型
     */
    @Override
    default String databaseType(){
        return "clickhouse";
    }
    /**
     * 向clickhouse数据库的iot_image表中插入数据
     *
     * @param image 图片信息
     */
    @Override
    void insertImageRecord(ImageBean image);
}

定义操作mysql的mapper,注意定义对应的mapper.xml文件,这里不体现。

@Mapper
public interface MySqlImageMapper extends ImageMapper {
    /**
     * 返回数据库类型
     * @return 数据库类型
     */
    @Override
    default String databaseType(){
        return "mysql";
    }
    /**
     * 向clickhouse数据库的iot_image表中插入数据
     *
     * @param image 图片信息
     */
    @Override
    void insertImageRecord(ImageBean image);
}

Service层

定义context对象,可以理解为一个service对象。这个对象主要的作用是将实现了ImageMapper.class的实例对象存储到一个map中,当有人要调用这个对象的insertImageRecord方法时,从map中取出对应mapper执行数据库的插入操作。

@Service
public class ImageContext implements ApplicationContextAware {

    private final Map<String, ImageMapper> imageMapperMap = new ConcurrentHashMap<>();

    public void insertImageRecord(String dbType, ImageBean image) {
        final ImageMapper imageMapper = Optional.ofNullable(imageMapperMap.get(dbType))
                .orElseThrow(() -> new IllegalArgumentException("invalid database type: " + dbType));
        imageMapper.insertImageRecord(image);
    }

    @Override
    public void setApplicationContext(ApplicationContext applicationContext) throws BeansException {
        final Map<String, ImageMapper> map = applicationContext.getBeansOfType(ImageMapper.class);
        map.values().forEach(source -> imageMapperMap.put(source.databaseType(), source));
    }
}

在需要的地方调用上述方法。

@Service
public class GetAsyncAiResultService {

  /**
    * 历史库类型,默认clickhouse
   */
  @Value("${image.history.database.type:clickhouse}")
  private String databaseType;

  //注入上下文对象
  @Resource
  ImageContext imageContext; 

  /**
     * 组织图片信息插入到clickhouse中
     *
     * @param imageName   图片名称
     * @param imageResult 图片结果
     */
  void insertImageRecord(String imageName, JSONObject imageResult, JSONObject imageMetaData) {
    //省略处理逻辑
    //...

    //插入需要的数据库,数据库类型可以通过配置文件注入的方式,这里为了展示明显,写死了
    imageContext.insertImageRecord(databaseType, image); 
  }
}

总结

使用策略模式以后代码非常符合开闭原则。比如现在需要将数据插入到Oracle中,那么上述提到的所有文件都不需要动,只需要再写一个OracleImageMapper继承ImageMapper,在需要将数据插入Oracle的时候,修改配置文件即可完成。

但是,使用策略模式需要提前设计好再开发,比如本文我们在ImageMapper文件中只定义了一个插入数据库的方法,后续开发过程中发现,不仅需要插入数据库还需要查询数据库,那么上述所有提到的文件都需要变更。

### Spring Boot与MyBatis Plus组合使用时的大规模数据插入方法 对于在Spring Boot项目中利用MyBatis Plus执行大规模(百万级别)的数据插入操作,可以采取多种策略来提高性能并确保系统的稳定性和效率。 #### 使用批处理机制提升写入速度 数据库连接池配置应支持高并发场景下的大量事务提交。通过调整JDBC驱动程序中的`rewriteBatchedStatements=true`参数设置[^1],能够显著加快MySQL环境下批量SQL语句的执行速率: ```properties spring.datasource.url=jdbc:mysql://localhost:3306/test?useSSL=false&serverTimezone=UTC&rewriteBatchedStatements=true ``` #### 控制每次批量大小以平衡内存占用和吞吐量 合理设定每批次处理记录数,在减少网络往返次数的同时避免一次性加载过多对象到Java堆空间内造成GC压力。通常建议单次batch size保持在几百至数千之间取决于具体业务需求以及硬件条件限制。 #### 利用多线程异步方式进一步加速整体流程 当面对海量级数据源读取任务时,可考虑引入ExecutorService框架实现生产者消费者模式,即由多个工作线程负责从原始文件或其他外部存储介质获取待入库实体实例,并将其放入阻塞队列;而另一组专门用于持久化的线程则不断消费该队列里的元素完成最终保存动作。 #### 配置合适的隔离级别防止锁竞争影响性能 针对某些特定类型的OLTP应用而言,适当降低默认READ COMMITTED级别的约束有助于缓解因频繁更新带来的潜在瓶颈问题。不过需要注意的是这样做可能会引发脏读现象所以在实际部署前务必充分评估风险利弊得失后再做决定。 #### 关闭不必要的日志输出减轻I/O负担 如果应用程序处于调试阶段以外,则应当关闭诸如DEBUG/INFO等级别的冗余信息打印功能,从而让CPU资源更多地投入到核心计算逻辑当中去而不是浪费在网络传输上。 ```java // 批量插入代码示例 @Autowired private UserMapper userMapper; public void batchInsertUsers(List<User> userList){ int batchSize = 1000; for (int i = 0; i < userList.size(); i += batchSize) { List<User> subList = userList.subList(i, Math.min(userList.size(), i + batchSize)); userMapper.insertBatchSomeColumn(subList); } } ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值