Shard DataSource

动态数据源路由
最新推荐文章于 2022-03-10 00:14:14 发布
原创 最新推荐文章于 2022-03-10 00:14:14 发布 · 265 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Hibernate #OpenSource #EXT #Blog

本文介绍了一种名为动态数据源路由的技术，该技术允许应用程序在运行时根据特定条件选择不同的数据源进行操作。此方法增强了系统的灵活性和可扩展性。
[url]http://opensource.atlassian.com/projects/hibernate/browse/HSHARDS-37;jsessionid=a-i8XZ_53LB5aHxsU2?page=com.atlassian.jira.ext.fisheye%3Afisheye-issuepanel[/url]

[b]dynamic datasource routing[/b]

[url]http://blog.springsource.com/2007/01/23/dynamic-datasource-routing/[/url]
Sharding-Jdbc源码学习（一）：配置shardingDatasource
echineselearning的专栏
11-28 1万+
一，分片-JDBC分库分表概述 拆分-JDBC是实现了JDBC协议的罐子文件。基于JDBC协议实现，与基于MySQL的协议实现的分库策略（mycat）在实现上有很大差异。 无论使用哪种架构，核心逻辑均极为相似，除了协议实现层不同（JDBC或数据库协议），都会分为分片规则配置，SQL解析，SQL改写，SQL路由，SQL执行以及结果归并等模块。 故整体架构如下： 本文主要从分片规则配置及J...
DynamicDataSource遇见Sharding-JDBC实现多租户分库和业务分库分表
small_to_large的博客
06-21 4865
前言 Sharding-JDBC 结合 DynamicDataSource 实现分库分表、租户隔离等
mysql sharding 读取_Sharding JDBC读写分离实现原理及实例
weixin_29785723的博客
01-19 477
一、核心功能和不支持项核心功能提供一主多从的读写分离配置，可独立使用，也可配合分库分表使用。独立使用读写分离支持SQL透传。同一线程且同一数据库连接内，如有写入操作，以后的读操作均从主库读取，用于保证数据一致性。基于Hint的强制主库路由。不支持项主库和从库的数据同步(所以需要另外实现主从同步，如使用Mysql的binlog实现)。主库和从库的数据同步延迟导致的数据不一致。主库双写或多写。跨主库和...
基于mybatis的shard方案（分表分库、读写分离）
xingkong0128的专栏
01-14 1万+
m-shard是本人近日完成一个基于mybatis、spring的分表分库插件，以下将对该插件做详细说明。 MShard是什么 MShard是一个定位于orm层shard方案，支持分表分库（跨库分表）、读写分离，支持分布式事务，它是一个基于于mybatis3.x的扩展，依赖于spring。 功能要点 1、分库分表（跨库） 2、读取分享 3、事务控制 基于spring管理事
Shardingjdbc的深度定制化过程
琪琪的博客
05-26 622
公司原先使用的数据库中间件是mycat，但是mycat由于很早就开始不维护了，所以我们再使用过程中出现了很多问题都无法的到解决，如果各位同学有兴趣可以再压测时观察下mycat的堆栈活动，ygc是非常频繁的，并且很不稳定，当时考虑切换到Sharding-Proxy上面去，同样是数据库中间件这种方案我们内部认为是改动最小的。 可是事实证明我们错了，Sharding-Proxy由于也是刚开源不久的东西，其实也存在不少BUG，虽然社区活跃但是官方文档实在太不全了，导致我们遇到每一个问题都需要花很大的精力去排查、定
若依框架cloud-plus 定义了datarouce.yml 多数据 very-aa.yml 指定连接多数据源的very-master 库 shard.yml 分表的规则 现在项目启动 数据源 DataSource Bean: dataSource = DynamicRoutingDataSource shard失效
09-16
由于给定引用内容未直接涉及若依框架cloud - plus项目启动时，在特定配置下数据源为`DynamicRoutingDataSource`时`shard`失效问题的解决办法，以下结合通用知识给出可能的解决思路。 ### 核查配置文件 确保`...
spring: application: name: coupon-send-service shardingsphere: datasource: names: shard0,shard1 shard0: type: com.alibaba.druid.pool.DruidDataSource driver-class-name: com.mysql.cj.jdbc.Driver url: jdbc:mysql://localhost:3306/sk_day09?useSSL=false&serverTimezone=UTC&rewriteBatchedStatements=true username: root password: 123456 # Druid连接池配置 initial-size: 5 min-idle: 5 max-active: 20 shard1: type: com.alibaba.druid.pool.DruidDataSource driver-class-name: com.mysql.cj.jdbc.Driver url: jdbc:mysql://localhost:3306/sk_day10?useSSL=false&serverTimezone=UTC&rewriteBatchedStatements=true username: root password: 123456 # Druid连接池配置 initial-size: 5 min-idle: 5 max-active: 20 sharding: tables: task_user: actual-data-nodes: shard$->{0..1}.task_user database-strategy: inline: sharding-column: user_id algorithm-expression: shard$->{user_id % 2} default-data-source-name: master这个配置对么
09-04
- 如果你想让 `shard0` 或 `shard1` 成为默认数据源，应将其命名为 `master`，或修改 `default-data-source-name` 为你实际的数据源名（如 `shard0`） --- ### 2. Druid 配置方式可能不生效 ShardingSphere-JDBC ...
@Configuration public class MyBatisConfig { @Bean("shardingSqlSessionFactory") public SqlSessionFactory shardingSqlSessionFactory( @Qualifier("shardingDataSource") DataSource dataSource) throws Exception { SqlSessionFactoryBean bean = new SqlSessionFactoryBean(); bean.setDataSource(dataSource); bean.setMapperLocations(new PathMatchingResourcePatternResolver() .getResources("classpath*:mapper/sharding/*.xml")); return bean.getObject(); } @Bean("defaultSqlSessionFactory") public SqlSessionFactory defaultSqlSessionFactory(@Qualifier("defaultDataSource") DataSource dataSource) throws Exception { SqlSessionFactoryBean factoryBean = new SqlSessionFactoryBean(); factoryBean.setDataSource(dataSource); factoryBean.setMapperLocations(new PathMatchingResourcePatternResolver() .getResources("classpath*:mapper/default/*.xml")); return factoryBean.getObject(); } } @Configuration public class DataSourceConfig { @Bean("defaultDataSource") @ConfigurationProperties(prefix = "spring.sharding-sphere.datasource.shard1") public DataSource defaultDataSource() { return DataSourceBuilder.create().build(); } } @Configuration public class MapperScannerConfig { @Bean public MapperScannerConfigurer shardingMapperScannerConfigurer(@Qualifier("shardingSqlSessionFactory") SqlSessionFactory sqlSessionFactory) { MapperScannerConfigurer configurer = new MapperScannerConfigurer(); configurer.setSqlSessionFactory(sqlSessionFactory); configurer.setBasePackage("com.example.mapper.sharding"); // 分片表的 Mapper 接口 return configurer; } @Bean public MapperScannerConfigurer defaultMapperScannerConfigurer(@Qualifier("defaultSqlSessionFactory") SqlSessionFactory sqlSessionFactory) { MapperScannerConfigurer configurer = new MapperScannerConfigurer(); configurer.setSqlSessionFactory(sqlSessionFactory); configurer.setBasePackage("com.example.mapper.defaultdb"); // 普通表的 Mapper 接口 return configurer; } }spring: application: name: coupon-send-service sharding-sphere: datasource: names: shard0,shard1 shard0: type: com.alibaba.druid.pool.DruidDataSource driver-class-name: com.mysql.cj.jdbc.Driver url: jdbc:mysql://localhost:3306/sk_day09?useSSL=false&serverTimezone=UTC&rewriteBatchedStatements=true username: root password: 123456 # Druid连接池配置 initial-size: 5 min-idle: 5 max-active: 20 shard1: type: com.alibaba.druid.pool.DruidDataSource driver-class-name: com.mysql.cj.jdbc.Driver url: jdbc:mysql://localhost:3306/sk_day10?useSSL=false&serverTimezone=UTC&rewriteBatchedStatements=true username: root password: 123456 # Druid连接池配置 initial-size: 5 min-idle: 5 max-active: 20 sharding: tables: task_user: actual-data-nodes: shard$->{0..1}.task_user database-strategy: inline: sharding-column: user_id algorithm-expression: shard$->{user_id % 2} props: sql: show: true 这些是按你说的改的代码，现在还是报org.springframework.beans.factory.UnsatisfiedDependencyException: Error creating bean with name 'shardingMapperScannerConfigurer' defined in class path resource [com/c/c_coupon_send/config/MapperScannerConfig.class]: Unsatisfied dependency expressed through method 'shardingMapperScannerConfigurer' parameter 0; nested exception is org.springframework.beans.factory.UnsatisfiedDependencyException: Error creating bean with name 'shardingSqlSessionFactory' defined in class path resource [com/c/c_coupon_send/config/MyBatisConfig.class]: Unsatisfied dependency expressed through method 'shardingSqlSessionFactory' parameter 0; nested exception is org.springframework.beans.factory.BeanCreationException: Error creating bean with name 'org.apache.shardingsphere.shardingjdbc.spring.boot.SpringBootConfiguration': Instantiation of bean failed; nested exception is org.springframework.beans.BeanInstantiationException: Failed to instantiate [org.apache.shardingsphere.shardingjdbc.spring.boot.SpringBootConfiguration]: No default constructor found; nested exception is java.lang.NoSuchMethodException: org.apache.shardingsphere.shardingjdbc.spring.boot.SpringBootConfiguration.<init>()
09-04
你手动创建了一个 `defaultDataSource` Bean，并使用了 `@ConfigurationProperties(prefix = "spring.sharding-sphere.datasource.shard1")`： ```java @Bean("defaultDataSource") @ConfigurationProperties...
springboot@Transactional事务多数据源的问题
Java架构师Array的博客
08-11 7460
springboot事务不生效的几种解决方案 最近在业务中遇到了很奇怪的场景,在加上@Transactional注解后,插入2条数据,如果第二条出异常了,第一条不会回滚,排查了很久,上网也找资料看了很久,问题得以解决,总结了事务不生效的几点可能的原因: mysql的MyISAM引擎不支持回滚,如果需要自动回滚事务,需要将mysql的引擎设置成InnoDB; 在业务中抛出异常时,本应该被事务管理器捕获的异常,被手动catch处理了,或者事务结果未满足具体业务需求的,如果需要手动catch异常做业..
sharding-datasource之JPA基于AbstractRoutingDataSource动态切换数据源
Lance
03-10 2054
介绍 基于sharding-datasource, jpa进行分库操作, 实现AbstractRoutingDataSource动态切换数据源 SaaS服务多租户介绍，每个租户的资源都是独立的，从入口到应用部署到数据，都是完全隔离的。每个租户相当于“托管”在提供服务的公司里面，公司做的其实是统一运维。好处在于，这个隔离非常彻底，基本不太会有相互影响；如果有特殊客户要求的定制化，也没啥处理难度。缺陷在于，很容易因为隔离和定制，导致版本不统一，资源也浪费比较大，因为是“代运维”的模式，因此服务成本也比较高。
架构组件：基于shard-jdbc中间件，实现数据分库分表
【积累】，是一个长期持续的过程。
05-21 3780
一、水平分割 1、水平分库 1)、概念： 以字段为依据，按照一定策略，将一个库中的数据拆分到多个库中。 2)、结果 每个库的结构都一样；数据都不一样； 所有库的并集是全量数据； 2、水平分表 1)、概念 以字段为依据，按照一定策略，将一个表中的数据拆分到多个表中。 2)、结果 每个表的结构都一样；数据都不一样； 所有表的并集是全量数据； 二、Shard-jdbc 中间件 1、架构图 2、特点 1......
Sharding-jdbc设置defaultDatasource无效问题解决和源码分析思路
未完成的空间
04-25 1万+
概要：sharding-jdbc中设置defaultDataSourcceName要配合setBindingTableGroups使用，否则默认数据源的配置无效。 背景：使用sharding-jdbc进行分库分表的开发过程中，我们使用了3个数据源... 在对sharding-jdbc源码进行debug分析后，发现只配置defaultDataSourcceName是不会生效的，必须要配置bindingTableGroups，将所有需要按默认规则路由的表配置进去，这里官方文档有点坑，并没有说明这两个配置...
Spring Boot中Datasource配置（Spring Boot dbcp2数据源配置）
热门推荐
xiaolyuh的专栏
06-16 4万+
数据库连接池选择算法 在默认情况下， 数据库连接可以使用DataSource池进行自动配置。下面是选取一个特定实现的算法： 由于Tomcat数据源连接池的性能和并发， 在tomcat可用时， 我们总是优先使用它。 如果HikariCP可用， 我们将使用它。 如果Commons DBCP可用， 我们将使用它， 但在生产环境不推荐使用它。 最后， 如果Commons DBCP2可用， ...
Sharding-JDBC教程：Spring Boot整合Sharding-JDBC实现分库分表+读写分离
方志朋的专栏
06-30 3万+
转载请标明出处： http://blog.youkuaiyun.com/forezp/article/details/94174577 本文出自方志朋的博客 在上一篇文章介绍了如何使用Sharding-jdbc进行分库+读写分离，这篇文章将讲述如何使用Sharding-jdbc进行分库分表+读写分离。 架构回顾 在数据量不是很多的情况下，我们可以将数据库进行读写分离，以应对高并发的需求，通过水平扩展从库，...
ElasticSearch 开发总结（三）——Unavailable Shards Exception解决思路
腊八粥
01-07 1万+
今天ElasticSearch集群出现UnavailableShardsException错误，经过查找及总结，Mark一下个人排查方案 第一步：查看集群是否处于健康状态 1.elasticsearch 集群的健康状态用三种颜色red yellow green表示 green：表示集群处于健康状态； yellow：表示所有主分片可用，但不是所有副本分片都可用； red：表示不是所有的主分片...
SpringBoot整合Sharding-JDBC，实现从数据库读取sharding-jdbc数据源，实现多种数据库数据源切换，数据库方言动态切换
隔壁老王的专栏
03-21 1万+
SpringBoot整合Sharding-JDBC，实现从数据库读取sharding-jdbc数据源，实现多种数据库数据源切换，数据库方言动态切换 Hello，隔壁老王时隔很久很久又来了，今天给大家介绍的是一个分库分表的框架—sharding-jdbc。这个框架在我公司用到了，使用的还算比较复杂。这个项目有两种数据库，Mysql和SQLServer。因此需要动态的切换数据源，并且数据库方言也需要...
Mybatis分库分表扩展插件
xinhuashe2589的博客
05-15 3981
对于一个刚上线的互联网项目来说，由于前期活跃用户数量并不多，并发量也相对较小，所以此时企业一般都会选择将所有数据存放在一个数据库中进行访问操作。但随着后续的市场推广力度不断加强，用户数量和并发量不断上升，这时如果仅靠一个数据库来支撑所有访问压力，几乎是在自寻死路。所以一旦到了这个阶段，大部分Mysql DBA就会将数据库设置成读写分离状态，也就是一个Master节点对应多个Salve节点。经过Ma
springboot2.x shardingjdbc单库分表
真正的大师永远怀着一颗学徒的心
05-31 1524
捣鼓了大半天… 终于成功了，亲测可用… 注意依赖版本，我这里的spring boot 是2.x的。如果是1.x就不会有后面的那么多事了（就是不乐意用1.x，所以捣鼓了很久）。 <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</arti...
表的shard
最新发布
10-29
Sharding即分片，是一种水平分割数据以支持大规模数据集和高吞吐量操作的技术。...DataSource dataSource = ShardingDataSourceFactory.createDataSource(dataSourceMap, shardingRuleConfig, new Properties()); ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值