oceanbase数据库连接算法

最新推荐文章于 2024-12-24 18:00:17 发布
最新推荐文章于 2024-12-24 18:00:17 发布
阅读量155 收藏 1
点赞数 1
文章标签： 数据库 oceanbase 算法 sql
原文链接：https://www.modb.pro/db/1686931477529976832
版权

OceanBase 数据库当前版本支持 Nested Loop Join、Hash Join 和 Merge Join 三种不同的联接算法。

Hash Join 和 Merge Join 只适用于等值的联接条件，Nested Loop Join 可用于任意的联接条件。

Nested Loop Join

Nested Loop Join 原理是扫描一个表（外表），每读到该表中的一条记录，就去"扫描"另一张表（内表）找到满足条件的数据。

这里的"扫描"可以是利用索引快速定位扫描，也可以是全表扫描。通常来说，全表扫描的性能很差，所以如果联接条件的列上没有索引，优化器一般就不会选择 Nested Loop Join。在 OceanBase 数据库中，执行计划中展示了是否能够利用索引快速定位扫描。

如下例所示，第一个计划对于内表的扫描是全表扫描，因为联接条件是 t1.c = t2.c，而 t2 表没有在 c 列上的索引。第二个计划对于内表的扫描能够使用索引快速找到匹配的行，主要原因是联接条件为 t1.b = t2.b，而且 t2 表选择了创建在 b 列上的索引 k1 作为访问路径，这样对于 t1 表中的每一行的每个 b 值，t2 表都可以根据索引快速找到满足条件的匹配行。

obclient> CREATE TABLE t1(a INT PRIMARY KEY, b INT, c INT, KEY k1(b));
Query OK, 0 rows affected 

obclient> CREATE TABLE t2(a INT PRIMARY KEY, b INT, c INT, KEY k1(b));
Query OK, 0 rows affected 

obclient> EXPLAIN EXTENDED_NOADDR SELECT/*+USE_NL(t1 t2)*/ * FROM t1, t2 
      WHERE t1.c = t2.c;
+-----------------------------------------------------------------+
| Query Plan                                                                              |
+-----------------------------------------------------------------+
| ===========================================
|ID|OPERATOR        |NAME|EST. ROWS|COST  |
-------------------------------------------
|0 |NESTED-LOOP JOIN|    |1980     |623742|
|1 | TABLE SCAN     |t1  |1000     |455   |
|2 | TABLE SCAN     |t2  |2        |622   |
===========================================

Outputs & filters:
-------------------------------------
  0 - output([t1.a], [t1.b], [t1.c], [t2.a], [t2.b], [t2.c]), filter(nil),
      conds(nil), nl_params_([t1.c])
  1 - output([t1.c], [t1.a], [t1.b]), filter(nil),
      access([t1.c], [t1.a], [t1.b]), partitions(p0),
      is_index_back=false,
      range_key([t1.a]), range(MIN ; MAX)always true
  2 - output([t2.c], [t2.a], [t2.b]), filter([? = t2.c]),
      access([t2.c], [t2.a], [t2.b]), partitions(p0),
      is_index_back=false, filter_before_indexback[false],
      range_key([t2.a]), range(MIN ; MAX)

obclient> EXPLAIN EXTENDED_NOADDR SELECT/*+USE_NL(t1 t2)*/ * FROM t1, t2 
      WHERE t1.b = t2.b;
+-----------------------------------------------------------------+
| Query Plan                                                                              |
+-----------------------------------------------------------------+
| ============================================
|ID|OPERATOR        |NAME  |EST. ROWS|COST |
--------------------------------------------
|0 |NESTED-LOOP JOIN|      |1980     |94876|
|1 | TABLE SCAN     |t1    |1000     |455  |
|2 | TABLE SCAN     |t2(k1)|2        |94   |
============================================

Outputs & filters:
-------------------------------------
  0 - output([t1.a], [t1.b], [t1.c], [t2.a], [t2.b], [t2.c]), filter(nil),
      conds(nil), nl_params_([t1.b])
  1 - output([t1.b], [t1.a], [t1.c]), filter(nil),
      access([t1.b], [t1.a], [t1.c]), partitions(p0),
      is_index_back=false,
      range_key([t1.a]), range(MIN ; MAX)always true
  2 - output([t2.b], [t2.a], [t2.c]), filter(nil),
      access([t2.b], [t2.a], [t2.c]), partitions(p0),
      is_index_back=true,
      range_key([t2.b], [t2.a]), range(MIN ; MAX),
      range_cond([? = t2.b])

Nested Loop Join 可能会对内表进行多次全表扫描，因为每次扫描都需要从存储层重新迭代一次，这个代价相对比较高，所以 OceanBase 数据库支持对内表进行一次扫描并把结果物化在内存中，这样在下一次执行扫描时就可以直接在内存中扫描相关的数据，而不需要从存储层进行多次扫描。但是物化在内存中的方式是有代价的，所以 OceanBase 数据库优化器是基于代价去判断是否需要物化内表。

Nested Loop Join 的一个优化变种是 Blocked Nested Loop Join，它每次从外表中读取一个块大小的行，然后再去扫描内表找到满足条件的数据，这样可以减少内表的读取次数。

Nested Loop Join 通常用在外表行数比较少，而且内表在联接条件的列上有索引的场景，因为内表中的每一行都可以快速的使用索引定位到相对应的匹配的数据。

同时，OceanBase 数据库也提供了 Hint 机制 /*+ USE_NL(table_name_list) */ 去控制多表联接时选择 Nested Loop Join 算法。例如下述场景联接算法选择的是 Hash Join，而用户希望使用 Nested Loop Join，就可以使用上述 Hint 进行控制。

obclient> CREATE TABLE t1(c1 INT, c2 INT);
Query OK, 0 rows affected  

obclient> CREATE TABLE t2(c1 INT, c2 INT);
Query OK, 0 rows affected  

obclient> EXPLAIN SELECT * FROM t1,t2 WHERE t1.c1 = t2.c1;
+-----------------------------------------------------------------+
| Query Plan                                                                              |
+-----------------------------------------------------------------+
| ========================================
|ID|OPERATOR   |NAME|EST. ROWS|COST    |
----------------------------------------
|0 |HASH JOIN  |    |98010000 |66774608|
|1 | TABLE SCAN|T1  |100000   |68478   |
|2 | TABLE SCAN|T2  |100000   |68478   |
========================================

Outputs & filters: 
-------------------------------------
  0 - output([T1.C1], [T1.C2], [T2.C1], [T2.C2]), filter(nil), 
      equal_conds([T1.C1 = T2.C1]), other_conds(nil)
  1 - output([T1.C1], [T1.C2]), filter(nil), 
      access([T1.C1], [T1.C2]), partitions(p0)
  2 - output([T2.C1], [T2.C2]), filter(nil), 
      access([T2.C1], [T2.C2]), partitions(p0)

obclient> EXPLAIN SELECT /*+USE_NL(t1, c2)*/* FROM  t1, t2 WHERE t1.c1 = t2.c1;
+-----------------------------------------------------------------+
| Query Plan                                                                              |
+-----------------------------------------------------------------+
| ===============================================
|ID|OPERATOR        |NAME|EST. ROWS|COST      |
-----------------------------------------------
|0 |NESTED-LOOP JOIN|    |98010000 |4595346207|
|1 | TABLE SCAN     |T1  |100000   |68478     |
|2 | MATERIAL       |    |100000   |243044    |
|3 |  TABLE SCAN    |T2  |100000   |68478     |
===============================================

Outputs & filters: 
-------------------------------------
  0 - output([T1.C1], [T1.C2], [T2.C1], [T2.C2]), filter(nil), 
      conds([T1.C1 = T2.C1]), nl_params_(nil)
  1 - output([T1.C1], [T1.C2]), filter(nil), 
      access([T1.C1], [T1.C2]), partitions(p0)
  2 - output([T2.C1], [T2.C2]), filter(nil)
  3 - output([T2.C1], [T2.C2]), filter(nil), 
      access([T2.C1], [T2.C2]), partitions(p0)

Nested Loop Join 还有以下两种实现的算法：

  • 缓存块嵌套循环联接（Blocked Nested Loop Join）

    在 OceanBase 数据库中，Blocked Nested Loop Join 的实现方式是 Batch Nested Loop Join，即通过从外表中批量读取数据行（默认是 1000 行），然后再去扫描内表找到满足条件的数据。这样将批量的数据与内层表的数据进行匹配，减少了内表的读取次数和内层循环的次数。

    如下示例中，batch_join=true 字段表示本次查询使用了 Batch Nested Loop Join。

    obclient>CREATE TABLE t1(c1 INT PRIMARY KEY);
Query OK, 0 rows affected  

obclient>CREATE TABLE t2(c1 INT PRIMARY KEY);
Query OK, 0 rows affected  

obclient>EXPLAIN EXTENDED_NOADDR SELECT /*+USE_NL(t1,t2)*/*  FROM t1,t2 
          WHERE t1.c1=t2.c1\G
*************************** 1. row ***************************
Query Plan: 
============================================
|ID|OPERATOR        |NAME|EST. ROWS|COST   |
--------------------------------------------
|0 |NESTED-LOOP JOIN|    |100001   |3728786|
|1 | TABLE SCAN     |t1  |100000   |59654  |
|2 | TABLE GET      |t2  |1        |36     |
============================================

Outputs & filters: 
-------------------------------------
  0 - output([t1.c1], [t2.c1]), filter(nil), 
      conds(nil), nl_params_([t1.c1]), inner_get=false, self_join=false, batch_join=true
  1 - output([t1.c1]), filter(nil), 
      access([t1.c1]), partitions(p0), 
      is_index_back=false, 
      range_key([t1.c1]), range(MIN ; MAX)always true
  2 - output([t2.c1]), filter(nil), 
      access([t2.c1]), partitions(p0), 
      is_index_back=false, 
      range_key([t2.c1]), range(MIN ; MAX), 
      range_cond([? = t2.c1])

  • 索引嵌套循环联接（Index Nested Loop Join）

    Index Nested Loop Join 是基于索引进行联接的算法，通过外层表匹配条件直接与内层表索引进行匹配，避免和内层表的每条记录进行比较，减少了对内层表的匹配次数。

    如下示例中存在联接条件 t1.c1 = t2.c1，则在 t2 表的 c1 列上有索引或 t1 表的 c1 列上有索引的时候，会使用 Index Nested Loop Join 算法。

    obclient> CREATE TABLE t1(c1 INT PRIMARY KEY);
Query OK, 0 rows affected  

obclient> CREATE TABLE t2(c1 INT ,c2 INT);
Query OK, 0 rows affected  

obclient> EXPLAIN SELECT /*+ORDERED USE_NL(t2,t1)*/ * FROM t2,
          (SELECT /*+NO_MERGE*/ * FROM t1)t1 
          WHERE t1.c1 = t2.c1 AND t2.c2 = 1\G 
*************************** 1. row ***************************
Query Plan: 
=========================================== 
|ID|OPERATOR |NAME|EST. ROWS|COST | 
------------------------------------------- 
|0 |NESTED-LOOP JOIN| |981 |117272| 
|1 | TABLE SCAN |t2 |990 |80811 | 
|2 | SUBPLAN SCAN |t1 |1 |37 | 
|3 | TABLE GET |t1 |1 |36 | 
=========================================== 
Outputs & filters: 
------------------------------------- 
0 - output([t2.c1], [t2.c2], [t1.c1]), filter(nil), conds(nil), nl_params_([t2.c1]) 
1 - output([t2.c1], [t2.c2]), filter([t2.c2 = 1]), access([t2.c1], [t2.c2]), partitions(p0) 
2 - output([t1.c1]), filter(nil), access([t1.c1]) 
3 - output([t1.c1]), filter(nil), access([t1.c1]), partitions(p0)

    在 outputs & filters 的输出结果中 nl_param 出现参数 [t2.c1]，说明执行了条件下压优化。详细信息请参考 JOIN。

    一般地，在进行查询优化时，OceanBase 数据库优化器会优先选择 Index Nested Loop Join，然后检查是否可以使用 Batch Nested Loop Join，这两种优化方式可以一起使用，最后才会选择 Nested Loop Join。

OceanBase 分布式数据库【信创/国产化】- OceanBase 系统架构
简简单单Onlinezuozuo
04-25 477
OceanBase 数据库（OceanBase Database）是一款完全自研的企业级原生分布式数据库，在普通硬件上实现金融级高可用，首创“三地五中心”城市级故障自动无损容灾新标准，刷新 TPC-C 标准测试，单集群规模超过 1500 节点，具有云原生、强一致性、高度兼容 Oracle/MySQL 等特性。OceanBase 是蚂蚁集团开发2010 年研发完成，2020 年蚂蚁成立全资公司“北京奥星贝斯科技有限公司”独立运营OceanBase 特性原生分布式架构金融级高可用透明水平扩展。
Debezium系列之：使用Debezium采集oceanbase数据库
zhengzaifeidelushang的博客
12-13 436
Debezium系列之：使用Debezium采集oceanbase数据库
「OceanBase 4.1 体验」｜快速安装部署
雪辉博客
05-02 6067
OceanBase 数据库是一款完全自研的企业级原生分布式数据库，在普通硬件上实现金融级高可用，首创“三地五中心”城市级故障自动无损容灾新标准，刷新 TPC-C 标准测试，单集群规模超过 1500 节点，具有云原生、强一致性、高度兼容 Oracle/MySQL 等特性。
oceanbase数据库安装和连接实战（阿里云服务器操作）
lgbingyu00的博客
06-26 2542
本文主要是安装oceanbase的单机版进行数据库的基础使用，oceanbase的数据库是兼容mysql数据库的，实际的兼容程度需要更深度的测试，本文主要是安装oceanbase并使用SQLynx的mysql驱动连接使用oceanbase数据库。
OceanBase—01（入门篇——使用docker安装OceanBase以及介绍连接OB的几种方式）
@素素~的博客
06-17 8808
OceanBase—01（入门篇——使用docker安装OceanBase以及介绍连接OB的几种方式）
python通过JayDeBeApi使用JDBC链接OceanBase
夏洛的克
02-27 1740
文章目录环境准备获取JayDeBeApi获取OceanBase JDBC驱动OceanBase 集群搭建参见：测试验证 环境准备 获取JayDeBeApi 方法一： pip install JayDeBeApi 方法二： [admin@localhost ~]$ git clone https://github.com/baztian/jaydebeapi.git Cloning into 'jaydebeapi'... remote: Enumerating objects: 1710, done. r
IDEA的Database连接oceanbase
白杨
11-13 6674
这里配置可以参考官网：https://www.oceanbase.com/docs/community-observer-cn-10000000000900909。切换到"Data Sources",然后点击左上角的加号，选中刚刚添加配置好的驱动，我这里名字叫"Oceanbase Driver"是前面配置驱动定义好的。，最上面的Name自己随意，最后点击Apply按钮。配置好之后，可以点击测试链接，看下是否能成功。添加Oceanbase的驱动jar，然后选择。下载oceanbase的jdbc驱动，
Navicat 连接 OceanBase 快速入门 | 社区版
Navicat 官方账号
05-20 3078
Navicat Premium（16.1.9或更高版本）正式支持 OceanBase全线数据库产品。OceanBase为现代数据架构打造的开源分布式数据库。兼容 MySQL 的单机分布式一体化国产开源数据库，具有原生分布式架构，支持金融级高可用、透明水平扩展、分布式事务、多租户和语法兼容等企业级特性。Navicat 工具不仅提供可视化数据查看和编辑功能，还提供强大的高阶功能（如模型、结构同步、协同合作、数据迁移等）。这使得Navicat 可以极大地满足 OceanBase用户的管理需求。
上一套OceanBase数据库，如何规划部署？OceanBase集群
cnzzs的博客
07-25 749
一.简介OceanBase社区版是开源的分布式国产数据库，兼容 MySQL ，具有原生分布式架构，支持金融级高可用、透明水平扩展、分布式事务、多租户和语法兼容等企业级特性。目前社区版最新版本为V4.3.2，支持X86和ARM架构。OceanBase 数据库支持单机、机房、城市级别的高可用和容灾，可以进行单机房、双机房“主-...
云原生数据库 OceanBase 介绍
m0_64584707的博客
10-25 1662
OceanBaseOceanBase 迁移评估工具（OceanBase Migration Assessment，OMA）是 OceanBase 提供的数据库迁移评估的产品，为数据迁移提供精准的兼容性评估、高效的性能评估以及应用逻辑改造建议。OMA 支持评估Oracle、DB2 LUW、PostgreSQL 等多种数据库与 OceanBase 的兼容情况，提供画像分析和自动转换方案；支持应用负载回放功能，帮助客户预知迁移后可能的性能风险并提供优化方案；
猿创征文｜国产数据库之OceanBase详解安装和使用
LQ的博客
10-07 7312
国产数据库之OceanBase详解安装和使用
多表连接的三种方式hash join，merge join，nested loop
Murphyt的专栏
02-09 1611
多表之间的连接有三种方式：Nested Loops，Hash Join 和 Sort Merge Join. 下面来介绍三种不同连接的不同：     一． NESTED LOOP: 对于被连接的数据子集较小的情况，嵌套循环连接是个较好的选择。在嵌套循环中，内表被外表驱动，外表返回的每一行都要在内表中检索找到与它匹配的行，因此整个查询返回的结果集不能太大（大于1 万不适合），要把返回子
Jmeter连接OceanBase数据库
weixin_38080856的博客
05-18 3909
Jmeter连接OceanBase数据库
国产化数据库oceanbase部署与连接odbc的过程
最新发布
weixin_70208651的博客
12-24 1607
OceanBase是一款完全自主研发的国产原生分布式数据库，这款数据库结合了传统关系数据库和分布式系统的优势，为多个行业的数字化转型提供了坚实的基础。OceanBase的设计理念是“水平扩展、高可用性、高性能”。OceanBase还支持跨数据中心的容灾，能够在地理上分布的多个数据中心之间实现数据同步和故障切换。OceanBase已经能够支持大规模高并发交易，通过水平扩展和高效的数据处理能力确保了系统的准确性和实时性。此外，oceanbase高度兼容mysql。本文介绍了部署oceanbase的方式。
各种语言如何连接到 OceanBase
专注数据库、大数据领域干货分享，用严谨的数据技术广交天下朋友。
08-24 6405
本篇文章想跟大家分享一下，各种主流开发语言如何连接到 OceanBase 社区版数据库，进行日常开发。这个问题也是社区群里面问的比较多的一个问题之一，希望通过本篇文章，能给各位参与开发的小伙伴提供一些指导。首先我们在 OceanBase test 数据库中创建一个 t1 表，并向里面插入 2 条数据，用作后面所有语言的测试基础表：首先上来肯定要说一下 Java，说 Java 是第一大应用开发语言应该不为过吧？OceanBase 社区版对 MySQL 5.7 的兼容性最好，所以您可以使用 MySQL 5.7
oceanBase数据库基础知识
qq_54961709的博客
06-08 3712
OceanBase数据库基础概念，执行计划分析等
OceanBase数据库
weixin_61626012的博客
12-01 6794
OceanBase-企业级分布式数据库：完全自主研发，蚂蚁集团控股独立公司运作，集团战略型长期投入方向拥有100%的知识产权，区别于开源数据库的再发行产品基于分布式架构和通用服务器、实现了金融级可靠性及数据一致性，不依赖特定硬件架构具备高可用、高可扩展、低成本、高性能等核心技术优势考点2（TCP-C认证）考点3（内部应用）1、2、3、全能型副本和日志型副本，每个zone只能有一个，只读型副本一个zone可能有多个，前提是一个zone里存在多个unit4、
OceanBase 数据库搭建
weixin_53112703的博客
06-26 3503
安装脚本会尝试自动设置好环境变量，对于特定的系统如果环境变量未生效，可以根据提示，执行设置环境变量的脚本，如果需要设置为每次登陆都生效，需要根据用户使用的 terminal 环境，写到对应的 profile 文件中，一般为。部署方式采用最小规格部署，部署的组件版本默认为最新版本，默认部署的组件包含 oceanbase-ce、obproxy-ce、obagent、grafana、prometheus。您也可以通过参数控制部署的组件、组件的版本、配置以及部署的目录。部署完成后，可以通过命令。
Oceanbase查询优化：join order生成
weixin_64863780的博客
03-06 555
在查询优化过程中，Oceanbase使用动态规划算法自下向上地对join order进行枚举，然后使用冲突规则对枚举的合法性进行判断，能够在保证正确性的基础上进行充分的探索，为得到最优的执行计划提供了基础。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值