一文搞定星型模型和雪花模型

星型模型和雪花模型

在多维分析的商业智能解决方案中,根据事实表和维度表的关系,又可将常见的模型分为星型模型和雪花型模型。在设计逻辑型数据的模型的时候,就应考虑数据是按照星型模型还是雪花型模型进行组织。

8.1 星型模型

当所有维表都直接连接到“ 事实表”上时,整个图解就像星星一样,故将该模型称为星型模型

在这里插入图片描述

星型架构是一种非正规化的结构,多维数据集的每一个维度都直接与事实表相连接,不存在渐变维度,所以数据有一定的冗余,如在地域维度表中,存在国家 A 省 B 的城市 C以及国家 A 省 B 的城市 D 两条记录,那么国家 A 和省 B 的信息分别存储了两次,即存在冗余。

8.2 雪花模型
当有一个或多个维表没有直接连接到事实表上,而是通过其他维表连接到事实表上时,其图解就像多个雪花连接在一起,故称雪花模型。雪花模型是对星型模型的扩展。它对星型模型的维表进一步层次化,原有的各维表可能被扩展为小的事实表,形成一些局部的" 层次" 区域,这些被分解的表都连接到主维度表而不是事实表。如图所示,将地域维表又分解为国家,省份,城市等维表。它的优点是: 通过最大限度地减少数据存储量以及联合较小的维表来改善查询性能。 雪花型结构去除了数据冗余。

### 深度学习中模型的知识蒸馏与剪枝技术原理及应用 #### 知识蒸馏的技术原理及应用 知识蒸馏是一种有效的模型压缩策略,旨在将复杂的教师模型(teacher model)所蕴含的知识迁移到较为简单的学生模型(student model)。这种方法不仅能够保持较高的预测准确性,还能显著减小模型尺寸并提升运行效率。具体来说,在训练过程中,学生模型不仅要拟合原始数据集上的标签信息,还要尽可能模仿教师模型给出的概率分布,即所谓的“暗知识”或软标签[^1]。 为了实现这一点,通常会采用温度缩放机制调整softmax函数的输出,使得教师网络产生的概率分布更加平滑,便于学生更好地捕捉其特征表示能力。此外,还可以引入额外损失项来强化这种迁移过程的效果,比如基于中间层激活值的一致性约束等[^5]。 ```python import torch.nn.functional as F def knowledge_distillation_loss(student_logits, teacher_logits, temperature=2.0): soft_student = F.softmax(student_logits / temperature, dim=-1) soft_teacher = F.softmax(teacher_logits / temperature, dim=-1) loss_kd = F.kl_div( input=F.log_softmax(student_logits / temperature, dim=-1), target=F.softmax(teacher_logits / temperature, dim=-1), reduction='batchmean' ) * (temperature ** 2) return loss_kd ``` #### 剪枝的方法论及其应用场景 相比之下,剪枝则是另一种不同的模型简化手段,主要关注于移除那些对整体性能贡献较小甚至可以忽略不计的部分——通常是连接权值接近零的位置。通过对神经元间联系强度进行评估筛选,并逐步去除冗余组件,最终得到一个更为紧凑高效的版本[^3]。 实际操作时,一般先完成一次完整的预训练阶段;接着依据设定的标准挑选出待修剪的目标节点/边;最后重新微调剩余结构直至满足预期指标为止。值得注意的是,尽管此法能在一定程度上缓解过拟合现象的发生几率,但也可能导致泛化能力下降等问题出现,因此需谨慎对待参数设置环节[^2]。 ```python from functools import partial import numpy as np def prune_weights(model, pruning_ratio=0.2): all_params = [] for name, param in model.named_parameters(): if 'weight' in name and not ('bn' in name or 'bias' in name): all_params.append((name, param.data.cpu().numpy())) flat_params = np.concatenate([p.flatten() for _, p in all_params]) threshold = np.percentile(abs(flat_params), q=(pruning_ratio*100)) with torch.no_grad(): for layer_name, weights in all_params: mask = abs(weights) >= threshold pruned_tensor = torch.from_numpy(mask.astype(int)).cuda() getattr(model, '.'.join(layer_name.split('.')[:-1]))._parameters[layer_name.split('.')[-1]].mul_(pruned_tensor) ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值