63、节点分区数据仓库:实验与改进

节点分区数据仓库:实验与改进

1. 网络与成本模型

在处理节点分区数据仓库时,我们采用交换网络。这种网络允许不同节点对同时发送数据且无冲突,进而能更高效地实现重分区算法。

1.1 本地处理成本(LC)

连接操作的本地处理成本通常取决于连接是否有索引等快速访问路径支持,以及参与连接的关系大小。同时,本地处理成本还应考虑本地执行的其他操作。为简化,我们假设这些成本随关系大小单调增加,不过实际情况会受多个参数影响,包括内存缓冲区限制。

1.2 合并成本(MC)

合并成本与在合并节点对收集的部分结果应用最终查询相关。我们定义加权参数,分区成本权重为β,本地处理权重为α,β/α表示分区成本与本地处理成本的比率。

考虑大小为Ri的大关系、N个节点以及前面描述的线性成本模型,可得到处理连接的成本表达式。为简化,以下表达式仅考虑两个大关系,片段大小为Ri/N。

  • 等分区关系的连接成本:
    [Join\ Cost\ with\ Equi - partitioned\ Relations=\left(\frac{R_1}{N}+\frac{R_2}{N}+\cdots + r_1 + r_l\right)]

  • 非等分区关系(需重分区)的连接成本:
    [Join\ Cost\ with\ Repartitioning=\left(\left(1 - \frac{1}{N}\right)\times\frac{R_1}{N}+\left(1 - \frac{1}{N}\right)\times\frac{R_2}{N}+\frac{IR}{N

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值