Apache Ignite SQL DML操作完全指南-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_01099/article/details/148508345

Apache Ignite SQL DML操作完全指南

ignite Apache Ignite 项目地址: https://gitcode.com/gh_mirrors/ignite4/ignite

概述

Apache Ignite作为一个分布式内存计算平台，提供了完整的SQL支持，包括数据操作语言(DML)功能。本文将深入解析Ignite支持的DML操作，包括SELECT、INSERT、UPDATE、MERGE、DELETE等命令的使用方法和实现原理。

SELECT查询详解

基本语法结构

SELECT语句是SQL中最常用的命令，Ignite提供了完整的SELECT语法支持：

SELECT [TOP term] [DISTINCT | ALL] selectExpression [,...]
FROM tableExpression [,...] [WHERE expression]
[GROUP BY expression [,...]] [HAVING expression]
[{UNION [ALL] | MINUS | EXCEPT | INTERSECT} select]
[ORDER BY order [,...]]
[{ LIMIT expression [OFFSET expression]
[SAMPLE_SIZE rowCountInt]} | {[OFFSET expression {ROW | ROWS}]
[{FETCH {FIRST | NEXT} expression {ROW | ROWS} ONLY}]}]

关键参数说明

DISTINCT：消除结果集中的重复行
GROUP BY：按指定表达式分组结果
HAVING：对分组后的结果进行过滤
ORDER BY：按指定列或表达式排序结果
LIMIT/OFFSET：限制返回行数和跳过行数
集合操作：UNION, INTERSECT, MINUS, EXCEPT用于合并查询结果

分布式查询执行原理

Ignite的SELECT查询执行方式取决于数据分布模式：

全复制数据：查询发送到单个节点并在本地数据上执行
分区数据：
- 查询被解析并拆分为多个map查询和一个reduce查询
- map查询在所有包含所需数据的节点上执行
- 各节点将本地执行结果提供给查询发起者(reducer)
- reducer合并所有结果集完成reduce阶段

JOIN操作

Ignite支持两种分布式SQL JOIN：

共置JOIN：当JOIN键共置时效率最高
非共置JOIN：需要启用特定参数

JOIN规则：

分区表与复制表之间的JOIN无限制
分区表之间的JOIN需要确保键共置或启用非共置JOIN参数

性能优化

Ignite对GROUP BY和ORDER BY进行了特殊优化：

ORDER BY：不需要将所有结果加载到reducer节点排序，而是各节点先排序本地结果，reducer以流式方式合并
GROUP BY：同样采用流式处理，避免全量数据加载

实用示例

简单查询：

SELECT * FROM Person;

排序查询：

SELECT * FROM Person ORDER BY name;

分组统计：

SELECT city_id, COUNT(*) FROM Person GROUP BY city_id;

表连接：

SELECT p.name, c.name
FROM Person p, City c
WHERE p.city_id = c.id;

INSERT操作

基本语法

INSERT INTO tableName
  {[( columnName [,...])]
  {VALUES {({DEFAULT | expression} [,...])} [,...] | [DIRECT] [SORTED] select}}
  | {SET {columnName = {DEFAULT | expression}} [,...]}

实现原理

Ignite将所有数据存储为键值对，INSERT操作最终转换为键值操作：

单键值对插入：转换为cache.putIfAbsent(...)
多键值对插入：为每对创建EntryProcessor并使用cache.invokeAll(...)

示例

插入单行：

INSERT INTO Person (id, name, city_id) VALUES (1, 'John Doe', 3);

从查询结果插入：

INSERT INTO Person(id, name, city_id)
   (SELECT a.id + 1000, concat(a.firstName, a.secondName), a.city_id
   FROM Account a WHERE a.id > 100 AND a.id < 1000);

UPDATE操作

基本语法

UPDATE tableName [[AS] newTableAlias]
  SET {{columnName = {DEFAULT | expression}} [,...]} |
  {(columnName [,...]) = (select)}
  [WHERE expression][LIMIT expression]

实现原理

UPDATE操作分为两个阶段：

根据WHERE条件生成并执行SELECT查询
使用cache.invokeAll(...)修改满足条件的数据

注意事项

主键更新：Ignite不允许更新主键，因为主键决定了数据分区
如需更新主键，应先删除再插入

示例

简单更新：

UPDATE Person SET name = 'John Black' WHERE id = 2;

基于查询更新：

UPDATE Person p SET name = (SELECT a.first_name FROM Account a WHERE a.id = p.id)

MERGE操作

基本语法

MERGE INTO tableName [(columnName [,...])]
  {VALUES {({ DEFAULT | expression } [,...])} [,...] | select}

实现原理

MERGE操作转换为：

单行操作：cache.put(...)
多行操作：cache.putAll(...)

注意事项

不支持通过显式KEY搜索行，总是使用主键搜索

示例

合并多行：

MERGE INTO Person(id, name, city_id) VALUES
	(1, 'John Smith', 5),
    (2, 'Mary Jones', 5);

从查询合并：

MERGE INTO Person(id, name, city_id)
   (SELECT a.id + 1000, concat(a.firstName, a.secondName), a.city_id
   FROM Account a WHERE a.id > 100 AND a.id < 1000);

DELETE操作

基本语法

DELETE
  [TOP term] FROM tableName
  [WHERE expression]
  [LIMIT term]

实现原理

DELETE操作分为两个阶段：

使用SELECT查询收集满足WHERE条件的键
创建EntryProcessor并使用cache.invokeAll(...)删除数据

示例

删除特定条件数据：

DELETE FROM Person WHERE name = 'John Doe';

WITH子句

基本语法

WITH  { name [( columnName [,...] )] AS ( select ) [,...] }
{ select | insert | update | merge | delete | createTable }

功能说明

WITH子句用于创建命名子查询，可在SQL语句其他部分引用。列名声明是可选的，系统会从命名查询中推断列名。

示例

WITH cte1 AS (
        SELECT 1 AS FIRST_COLUMN
), cte2 AS (
        SELECT FIRST_COLUMN+1 AS FIRST_COLUMN FROM cte1
)
SELECT sum(FIRST_COLUMN) FROM cte2;