流程--对应节点ID 表及sql

相关表

Workflow_base流程定义表

workflow_requestbase 请求信息表,

workflow_flownode 节点信息表,

workflow_nodebase 节点基础信息表

workflow_currentoperator流程当前操作人表


select startnodeid,*

from workflow_nodebase --节点基础信息表

select *

from workflow_flownode

where workflowid=111--节点信息表

select currentnodetype,CURRENTNODEID, *

from workflow_requestbase

where workflowid=111

select workflowid,nodeid,nodename,*

from workflow_flownode

left join workflow_nodebase

on workflow_flownode.nodeid=workflow_nodebase.id

where workflowid=111

============================================

--分公司

select id,*

from workflow_nodebase

where nodename like '%分部总经理%' and ID=788

select workflowid,nodeid,*

from workflow_flownode

where nodeid=491

select id,*

from Workflow_base

where id=154

select Workflow_base.id,Workflow_base.workflowname,*

from workflow_nodebase

left join workflow_flownode on workflow_nodebase.id=workflow_flownode.nodeid

left join Workflow_base on workflow_flownode.workflowid=Workflow_base.id

where nodename like '%公司负责人%'

### Spark SQL 中 Broadcast Join 的使用方法及 SQL 实例 #### 什么是 Broadcast Join? Broadcast Join 是一种优化策略,在 Spark SQL 中用于处理小和大之间的连接操作。其核心思想是将较小的广播到集群的所有节点上,使得每个节点都可以在本地完成数据的连接操作,而无需通过 shuffle 来移动大量数据[^4]。 当满足以下条件之一时,Spark 将会尝试应用 Broadcast Join: 1. 显式指定 `BROADCAST` 提示(hint),强制将某个作为广播对象。 2. 自动广播机制生效,即如果某张的大小小于 `spark.sql.autoBroadcastJoinThreshold` 配置值,则自动触发广播行为[^4]。 --- #### 如何启用 Broadcast Join? 可以通过设置参数来控制 Broadcast Join 的行为: ```sql SET spark.sql.autoBroadcastJoinThreshold=10m; ``` 默认情况下,`autoBroadcastJoinThreshold` 设置为 10 MB(单位可以是 KB/MB)。如果将其设为 `-1`,则禁用自动广播功能[^5]。 --- #### Broadcast Join 的语法与实例 以下是几种常见的 Broadcast Join 使用方式及其对应SQL 示例: ##### 方法一:显式指定 BROADCAST Hint 可以在查询中手动添加 `/*+ BROADCAST(table_name) */` 提示,告诉 Spark 对特定的小进行广播。 **SQL 示例:** ```sql SELECT /*+ BROADCAST(small_table) */ big_table.* FROM big_table JOIN small_table ON big_table.id = small_table.id; ``` 此语句示将 `small_table` 广播至所有执行节点,并与 `big_table` 进行本地连接[^1]。 --- ##### 方法二:隐式依赖 autoBroadcastJoinThreshold 参数 如果不希望手动干预,也可以依靠 Spark 的自动判断机制。只需确保目标的大小低于阈值即可。 **SQL 示例:** ```sql -- 假设 small_table 大于 10M,但小于当前 threshold (e.g., 1G) SET spark.sql.autoBroadcastJoinThreshold=1g; SELECT * FROM big_table JOIN small_table ON big_table.id = small_table.id; ``` 在这种场景下,即使未提供任何提示,Spark 可能仍然会选择 Broadcast Join 方案[^3]。 --- ##### 方法三:结合复杂查询场景 对于更复杂的查询结构,同样支持嵌套子查询或者多层 JOIN 场景下的广播优化。 **SQL 示例:** ```sql SELECT /*+ BROADCAST(subquery_result) */ main_table.* FROM ( SELECT id, value FROM intermediate_results WHERE condition = true ) AS subquery_result JOIN main_table ON main_table.id = subquery_result.id; ``` 这里展示了如何对中间结果集(subquery)实施广播优化[^2]。 --- #### 性能调优建议 为了充分发挥 Broadcast Join 的优势,请注意以下几点: 1. **合理调整广播阈值**:根据实际业务需求修改 `spark.sql.autoBroadcastJoinThreshold` 参数,避免因过低或过高而导致性能下降[^5]。 2. **监控运行计划**:利用 `EXPLAIN` 查看物理执行计划,确认是否成功启用了 Broadcast Hash Join[^4]。 ```sql EXPLAIN EXTENDED SELECT /*+ BROADCAST(small_table) */ big_table.* FROM big_table JOIN small_table ON big_table.id = small_table.id; ``` 3. **评估数据分布**:确保被广播的确实足够小;否则可能引发内存溢出等问题[^5]。 --- ###
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值