sharding不支持Union

最新推荐文章于 2024-12-09 14:25:58 发布
原创 最新推荐文章于 2024-12-09 14:25:58 发布
· 6.9k 阅读 · 5 ·
版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#sharding

今天写代码遇到一个错误：

com.dangdang.ddframe.rdb.sharding.parsing.parser.exception.SQLParsingUnsupportedException: Not supported token 'UNION'

com.dangdang.ddframe.rdb.sharding.parsing.parser.exception.SQLParsingUnsupportedException: Not supported token 'UNION'.
	at com.dangdang.ddframe.rdb.sharding.parsing.lexer.LexerEngine.unsupportedIfEqual(LexerEngine.java:173)
	at com.dangdang.ddframe.rdb.sharding.parsing.parser.clause.SelectRestClauseParser.parse(SelectRestClauseParser.java:29)
	at com.dangdang.ddframe.rdb.sharding.parsing.parser.sql.dql.select.AbstractSelectParser.parseSelectRest(AbstractSelectParser.java:129)
	at com.dangdang.ddframe.rdb.sharding.parsing.parser.dialect.mysql.sql.MySQLSelectParser.parseInternal(MySQLSelectParser.java:56)
	at com.dangdang.ddframe.rdb.sharding.parsing.parser.sql.dql.select.AbstractSelectParser.parseInternal(AbstractSelectParser.java:81)
	at com.dangdang.ddframe.rdb.sharding.parsing.parser.sql.dql.select.AbstractSelectParser.parse(AbstractSelectParser.java:68)
	at com.dangdang.ddframe.rdb.sharding.parsing.parser.sql.dql.select.AbstractSelectParser.parse(AbstractSelectParser.java:46)
	at com.dangdang.ddframe.rdb.sharding.parsing.SQLParsingEngine.parse(SQLParsingEngine.java:50)
	at com.dangdang.ddframe.rdb.sharding.routing.router.ParsingSQLRouter.parse(ParsingSQLRouter.java:71)
	at com.dangdang.ddframe.rdb.sharding.routing.PreparedStatementRoutingEngine.route(PreparedStatementRoutingEngine.java:55)
	at com.dangdang.ddframe.rdb.sharding.jdbc.core.statement.ShardingPreparedStatement.route(ShardingPreparedStatement.java:149)
	at com.dangdang.ddframe.rdb.sharding.jdbc.core.statement.ShardingPreparedStatement.executeQuery(ShardingPreparedStatement.java:114)

根据错误日志可以不支持union，不信邪跟了下sharding的源码，使用的版本是1.5.4，找到这个限制：

SelectRestClauseParser.java类中

 

public final void parse() {
        Collection<Keyword> unsupportedRestKeywords = new LinkedList<>();
        unsupportedRestKeywords.addAll(Arrays.asList(DefaultKeyword.UNION, DefaultKeyword.INTERSECT, DefaultKeyword.EXCEPT, DefaultKeyword.MINUS));
        unsupportedRestKeywords.addAll(Arrays.asList(getUnsupportedKeywordsRest()));
        lexerEngine.unsupportedIfEqual(unsupportedRestKeywords.toArray(new Keyword[unsupportedRestKeywords.size()]));
    }

由此可见，sharding不支持以上关键字。

后来又查了一些网上资料，确实有提出不支持union。

 

 

 

 

 

 

sharding-jdbc.rar
07-23
sharding-jdbc-4.1.1
shardingsphere执行union语句报错：Must have sharding column with subquery的解决方案
u012452555的博客
08-24 3522
写union语句时，我习惯不对每一张表加别名，导致shardingsphere读取sharding字段读取不到 解决方案就是给union的每个表加别名t1、t2、t3
Sharding不支持的sql
summer_du的博客
06-01 1450
springboot 使用sharding 插件不支持sql中含有以下关键字： 不支持HAVING 不支持OR，UNION 和 UNION ALL 不支持特殊INSERT 每条INSERT语句只能插入一条数据，不支持VALUES后有多行数据的语句 不支持DISTINCT聚合 不支持dual虚拟表 不支持SELECT LAST_INSERT_ID() 不支持CASE WHEN 对于需要用到上述关键的表格，切换数据源，使用不利用sharding分库分表的数据源进行操作 ———————————————— 原文链接
记录一下shardingsphere-jdbc查询分表使用union all的低级错误
qq_45367825的博客
08-11 1615
一开始是用表与表之间的同步（就是box_0,box_1…一张表一张表地同步数据），把所有表的同步都放在同一个事务中，保证整个分表的数据一致性，但是分表太多，避免大事务的出现，所有才用回shardingsphere-jdbc。有个数据同步的功能，对应的表使用到了shardingsphere-jdbc进行分表，所以想着是用shardingsphere-jdbc取数据再shardingsphere-jdbc的分片规则同步插入其他数据库，完成数据的同步。
解决ShardingJdbc多表join查询不支持or查询的问题(java.lang.UnsupportedOperationException)
hecr_mingong的博客
11-11 4627
1.问题描述 使用ShardingJdbc时，用联表查询不能使用or关键字，例如： SELECT * FROM t_tabale_a AS a JOIN t_table_b AS b ON a.id=b.id WHERE a.`name` LIKE '%aa%' OR b.`name` LIKE '%aa%' 报错情况： java.lang.UnsupportedOperationException: Cannot support SQL for `schema.table` at io.shardin
一个注解解决ShardingJdbc不支持复杂SQL
xhbzl的博客
09-13 2441
公司最近做分库分表业务，接入了 Sharding JDBC，接入完成后，回归测试时发现好几个 SQL 执行报错，关键这几个表都还不是分片表。报错如下：这下糟了嘛。熟悉 Sharding JDBC 的同学应该知道，有很多 SQL 它是不支持的。官方截图如下：如果要去修改这些复杂 SQL 的话，可能要花费很多时间。那怎么办呢？只能从 Sharding JDBC 这里找突破口了，两天的研究，出来了下面这个只需要加一个注解轻松解决 Sharding Jdbc 不支持复杂 SQL 的方案。
随笔-shardingjdbc使用及踩坑内容
qq_42967531的博客
12-12 4998
1.使用shardingjdbc做分库分表 最近公司由于业务需要，对日益增加的数据量越来越无法容忍，遂作出分库分表的决定，考察了几个技术方案后，决定使用shardingsphere做分表中间件。 使用maven拉取jar包： &lt;dependency&gt; &lt;groupId&gt;io.shardingsphere&lt;/groupId&gt; ...
使用Sharding-jdbc 3.1.0遇到的问题与应对
codeJxwww's blog
02-10 5480
文章目录一. 莫名的NullPointerException总的来说具体来说二. 基于暗示(Hint)的路由,表级别的分片策略不生效,只走默认分片策略.总的来说具体来说三. sharding-jdbc不支持union语句,强制放行.总的来说具体来说四. addDatabaseShardingValue需要填写表名,我不想填.总的来说具体来说五. 强制路由(set)时不知道表名是啥.总的来说具体来说...
使用flyway和shardingsphere报错了
m350058411的博客
09-26 1989
使用mybatis-plus加sharding-jdbc报错了 line 1:96 no viable alternative at input ‘UNION’ line 1:96 mismatched input ‘UNION’ expecting {TRUNCATE, POSITION, VIEW, AS, ANY, OFFSET, BEGIN, COMMIT, ROLLBACK, SAVEPOINT, BOOLEAN, DATE, TIME, TIMESTAMP, YEAR, QUARTER, MON
分库分表—ShardingJDBC
Eris_QwQ的博客
06-22 1388
定位为轻量级 Java框架，在 Java 的 JDBC层提供的额外服务，它使用客户端直连数据库，以 jar包形式提供服务，无需额外部署和依赖，可理解为增强版的 JDBC驱动，完全兼容 JDBC 和各种 ORM框架。适用于任何基于 JDBC 的 ORM框架，如：JPA、Hibernate、Mybatis、Spring JDBC Template 或是直接使用 JDBC；支持任何第三方的数据库连接池，如：DBCP、C3P0、BoneCP、HikariCP 等；
ShardingJDBC分库分表实战与核心原理
Zhuxiaoyu_91的博客
12-09 1478
ShardingJDBC分库分表实战与核心原理
ShardingJDBC核心概念与快速实战
jiayoubaobei2的博客
05-05 879
ShardingJDBC核心概念与快速实战
(hive union)FAILED: SemanticException 1:14 Top level UNION is not supported currently
lxpbs8851的专栏
09-06 5073
HIVE 中的 union 在最顶层的sql中是不支持的如： 表结构：(0.11.0支持show create table) hive> show create table mhfs_role; OK CREATE  TABLE mhfs_role(   pt string,   cnt int) ROW FORMAT SERDE   'org.apache.hadoop.
Spring Boot 与 Sharding JDBC 的分库分表集成配置
Mirson - 多一些分享, 多一些进步
02-19 577
一. Sharding JDBC介绍 Sharding-Sphere的前身Sharding-JDBC是由当当的应用框架dd-frame中的dd-rdb模块演进而来, 是一套开源的分布式数据库中间件解决方案组成的生态圈，它由Sharding-JDBC、Sharding-Proxy和Sharding-Sidecar这3款相互独立的产品组成。 Sharding-JDBC 可适用于任何基于Java的ORM...
sharding jdbc_非规范SQL的sharding-jdbc实践，精髓内容
weixin_39858124的博客
11-26 612
原创：小姐姐味道(微信公众号ID：xjjdog)，欢迎分享，转载请保留出处。在《“分库分表” ？选型和流程要慎重，否则会失控》中，我们谈到处于驱动层的sharding-jdbc。开源做到这个水平，已经超棒了，不像tddl成了个太监。但还是有坑。不过不能怪框架，毕竟有些sql，只有程序和鬼能懂。 select from order where orderCode = #{item} 不支持的操作分...
MySql常用函数总结及Sharding分库分表
jiangjiangxiaooo的博客
11-12 1735
MySql将用函数总结及Sharding分库分表 一、单行函数 一、字符函数 1. length 获取参数值的字节个数 SELECT LENGTH('john'); SELECT LENGTH('张三丰hahaha'); SHOW VARIABLES LIKE '%char%' 2. concat 拼接字符串 SELECT CONCAT(last_name,'_',first_name) 姓名 FROM employees; 3. upper、lower SELECT UPPER('john'); S
spring boot 中调用存储过程失败问题
12-02 2493
记录一下问题的解决过程：症状描述： 使用jdbcTemplate.execute调用mysql的存储过程，报错： io.shardingsphere.core.parsing.parser.exception.SQLParsingUnsupportedException: Not supported token 'IDENTIFIER'. 修改为使用mybatis调用存储过程，同样报错： java.sql.SQLFeatureNotSupportedException: prepareCall
Sharding-JDBC 源码分析 —— SQL 解析（二）之SQL解析
weixin_42073629的博客
06-12 595
1. 概述 上篇文章《词法解析》分享了词法解析器Lexer是如何解析 SQL 里的词法。本文分享SQL解析引擎是如何解析与理解 SQL的。因为本文建立在《词法解析》之上，你需要阅读它后在开始这段旅程。????如果对词法解析不完全理解，请给我的公众号**（芋道源码）留言，我会逐条认真耐心**回复。 区别于 Lexer，Parser理解SQL： 提炼分片上下文 标记需要SQL改写的部分 Parser 有三个组件： SQLParsingEngine ：SQL 解析引擎 SQLParser ：SQL 解
shardingjdbc2.0.1升级到shardingsphere3.0.0.M1出现的问题
imyar
07-18 4084
1.shardingjdbc2.0.1在执行select查询包含or条件的时候报shardingjdbc Not supported token 'OR'，不支持or，官方说升级到3.0.0.M1就支持啦，那好升级吧，注意：原来是io.shardingjdbc包升级到3.0之后需要改成io.shardingsphere 之后报ShardingException: Cannot get u...
sharding-jdbc批量插入
最新发布
05-09
### Sharding-JDBC 批量插入实现方法 Sharding-JDBC 是一个用于分布式数据库的中间件，它通过对 JDBC 原生 API 的封装，在应用层面实现了分库分表等功能[^1]。为了实现批量插入操作，可以通过标准的 JDBC 批处理方式完成数据的高效写入。 以下是具体的实现说明以及代码示例： #### 依赖引入 在项目中需要先引入 `sharding-jdbc-core` 及其相关依赖。以下是一个典型的 Maven 配置片段： ```xml <dependency> <groupId>com.dangdang</groupId> <artifactId>sharding-jdbc-core</artifactId> <version>${sharding.jdbc.version}</version> </dependency> ``` 其中 `${sharding.jdbc.version}` 应替换为具体版本号，例如 `1.5.4`[^4]。 #### 分片配置 在使用 Sharding-JDBC 进行批量插入之前，需定义好分片规则（如水平分表、分库策略）。这些规则通常通过 Spring 或 YAML 文件进行配置。例如，假设我们有一个名为 `t_order` 的表按订单 ID 进行分片，则可以这样设置： ```yaml dataSources: ds_0: ... ds_1: ... shardingRule: tables: t_order: actualDataNodes: ds_${0..1}.t_order_${0..1} tableStrategy: inline: shardingColumn: order_id algorithmExpression: t_order_${order_id % 2} ``` 此配置表示 `t_order` 表会按照 `order_id` 对 2 取模的结果分布到不同的逻辑表中[^2]。 #### 批量插入代码示例 利用 JDBC 提供的批处理机制，配合 Sharding-JDBC 的 SQL 解析能力，可轻松实现跨多个物理分片的数据插入。以下是一段 Java 示例代码： ```java import java.sql.Connection; import java.sql.PreparedStatement; public class BatchInsertExample { public static void main(String[] args) throws Exception { try (Connection connection = dataSource.getConnection()) { // 获取连接对象 String sql = "INSERT INTO t_order(order_id, user_id, status) VALUES (?, ?, ?)"; try (PreparedStatement preparedStatement = connection.prepareStatement(sql)) { for (int i = 0; i < 100; i++) { // 插入 100 条记录作为演示 preparedStatement.setInt(1, i); // 设置 order_id preparedStatement.setInt(2, i * 10); // 设置 user_id preparedStatement.setString(3, "NEW"); // 设置状态字段 preparedStatement.addBatch(); // 将当前参数加入批处理队列 } int[] resultCounts = preparedStatement.executeBatch(); // 执行批量插入 System.out.println("受影响的行数：" + java.util.Arrays.toString(resultCounts)); } finally { connection.close(); } } } } ``` 在此代码中，`addBatch()` 方法被用来累积待执行的操作；而最终调用 `executeBatch()` 则一次性提交所有积累下来的 SQL 操作给数据库引擎去执行。 需要注意的是，虽然 Sharding-JDBC 支持复杂的 SQL 查询语法，但对于某些特殊结构比如 union 和嵌套子查询则存在局限性[^3]。不过对于基本的 DML 操作来说，它是完全兼容并优化过的。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值