什么是退化维(Degenerate Dimensions)

最新推荐文章于 2023-05-28 16:11:39 发布
原创 最新推荐文章于 2023-05-28 16:11:39 发布 · 3.8k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

什么是退化维(Degenerate Dimensions)
退化维的定义是Ralph Kimball提出来的。一般来说事实表中的外键都对应一个维表，维的信息主要存放在维表中；但是退化维仅仅是事实表中的一列，这个维的相关信息都在这一列中，没有维表与之相关联。比如：发票号，序列号等等。
    那么退化维有什么作用呢？
    1、退化维具有普通维的各种操作，比如：上卷，切片，切块等
    2、如果存在退化维，那么在ETL的过程将会变得容易。
    3、它可以让group by等操作变得更快

 

数据仓库【纬度建模】
程序员学习圈
10-11 1167
一、基本概念 1、基本概念 2、事实表 2.1 事实表概述 2.2 事实表粒度 2.3 事实表设计原则 2.4 事实表的分类 3、纬度表 3.1 退化维度（DegenerateDimension） 3.2 缓慢变化维（Slowly Changing Dimensions） 4、粒度 5、维度建模流程 5.1 确认业务过程 5.2 确认粒度 5.3 确认维度 5.4 确认事实 二、建模方法 1、维度模型 1.1 星型模型 1.2 雪花模式 1.3 星座模式
【数仓】数据仓库高频面试题题英文版(1)
每天更新大数据面经和技术
07-01 1384
数仓
Degenerate dimensions （退化的维）
未来世界
03-26 543
Degenerate dimensions （退化的维）不需要建立维度表，就用事实表的字段为维。A degenerate dimension is a dimension which is so simple that it isn't worth creating its owndimension table. For example, consider following the fact t...
什么是退化维度？
热门推荐
a6822342的博客
08-30 2万+
退化维度的维度表可以被剔除，从而简化维度数据仓库的模式。因为简单的模式比复杂的更容易理解，也有更好的查询性能。 当一个维度没有数据仓库需要的任何数据时就可以退化此维度。需要把退化维度的相关数据迁移到事实表中，然后删除退化的维度。 维度属性也可以存储到事实表中，这种存储到事实表中的维度列被称为“退化维度”。与其他存储在维表中的维度一样 ，退化维度也可以用来进行事实表的过滤查询、实现聚合操作等。那...
退化维度
优快云_bird的博客
10-24 576
https://blog.youkuaiyun.com/wzy0623/article/details/49797421
退化维度详解
weixin_51981189的博客
05-28 1751
就是那些看起来像是事实表的一个维度 关键字 ，但实际上并没有对应的维度表，其中，事实表的粒度就是文档本身或文档中的一个分列项。在传统的父子 关系型数据库 中，事务编号是事物标题记录的关键字，比如订单编号、发票编号，这样的纪录包含了诸如事务日期、供应商标示这样在总体上对事务有效的所有信息。当一个维度没有数据仓库需要的任何数据的时候就可以退化此维度，需要把退化的相关数据迁移到事实表中，然后删除退化的维度。退化维度没有对应的维表，但可以获取与之相关的事实，如上订单号对应的订购者，服务对应的订购金额等。
错误:运行仿真时出错，仿真终止 原因: ['test2/Solver Configuration']: An implicit 6-DOF joint is attached to a degenerate mass distribution.
最新发布
06-04
### 仿真运行中6-DOF关节退化质量分布问题的解决方案 在仿真运行过程中，6-DOF（六自由度）关节因退化质量分布导致终止的问题通常与模型的质量属性设置不当有关。以下是可能的原因及解决方案： #### 可能原因分析 ...
ANSYS转FLAC3D地质模型文件转换工具
更重要的是，该工具明确支持FLAC3D中的多种三维单元类型：brick（六面体单元）、tetrahedral（四面体单元）、wedge（楔形单元）、pyramid（金字塔单元）以及degenerate brick（退化六面体单元）。这些单元类型覆盖了...
数据仓库工程师面试题
lz_N_one的博客
11-07 1993
什么是数据仓库？ 数据仓库，英文名称date warehouse 简称DW,数据仓库，就是一个很大的用来存储数据的集合，用于解决企业数据分析性和决策目的创建，对多样的数据进行筛选与整合，指导业务流程曾改进，成本，质量以及控制。 数据仓库的输入方就是各种各样的数据源，最终的输出用来为企业做数据分析，数据挖掘和数据报表。 数据仓库特点： 主题性 不同于传统数据库对应于某个或多个项目，数据仓库根据使用者实际要求，将不同数据源的数据在一个较高的抽象层次上做一个擂台，所有数据都围绕某一个主题来组织。 集成性 数据仓
4-dw_退化维
u012667253的专栏
05-12 323
目前是一个数据爆炸时代，数据量增长很快，很多的一些维度表数据量大到足可以影响到你的报表展示，比如一些企业的客户维度表，产品维度表等。 我们拿客户维度表来说，在客户维度表中，我们有客户代码，客户名称，月结客户代码，月结客户名称等，见如下图： 在有一些大客户上，他们很多分公司，所以在业务往来的时候都是跟分公司进行合作的，但是在费用结算这块，又是跟这些大客户的总公司进行费用结算的，就像上面数据，...
维度退化（数据仓库）
格子衫
06-16 5427
维度-退化维度 刚接触Mondrian，不熟悉如果只有一个事实表，没有单独的维度表，其中事实表就包含维度信息的怎么做Schema文件。一开始做了很多自关联，导致性能下降明显。基本多维度查询速度就很慢，基本出不来了。 其实这种同在事实表的，可以用退化维度来实现即可。 退化维度是这样的一种维度：由于它过于简单而不值得为它创建一个维表。考虑下面的事实表： 假设我们为支付方式列的值创建一个维表： 支付方式 Credit Cash ATM 这个维表没什么意义，它只有三个取值，没有额外的信息，并产生
大数据--数据仓库--维度退化
数据挖掘+大数据研发+算法学习
09-06 8562
2.3 维度退化 不可能将所有与业务相关的维度分类到一个紧凑的表集合中。类似这样的情况，将一个或者多个维度存储到事实表中是合适的选择。采用这种方法，存储事实表中的维度列被称为退化维度，退化维度的过程称为维度退化。 更为规范的定义是：当一个维度没有数据仓库需要的任何数据的时候就可以退化此维度，需要把退化的相关数据迁移到事实表中，然后删除退化的维度。与其他存储在维度表中的维度一样，退化维度也可以进行事实表的过滤查询，实现聚合操作等。那么究竟怎么定义退化维度呢？比如说订单id，...
缓慢变化维和退化维
qq_42456324的博客
08-12 1064
属性值被新值覆盖。这种情况只反映最新的情况，易实现，但破坏了历史情况，需小心使用。
一文搞懂什么是“退化维度”
laozaoxiaowanzi的博客
01-04 6348
当一个维度没有数据仓库需要的任何数据的时候就可以退化此维度，需要把退化的相关数据迁移到事实表中，然后删除退化的维度。退化维度没有对应的维表，但可以获取与之相关的事实，如上订单号对应的订购者，服务对应的订购金额等。Kimball书中对退化维度的描述为：操作型事务控制号码，例如：订单号码，发票号码，提货单号码通常产生空的维度，经常保存为事实表中的退化维度。退化维度是没有对应维度表的维度键。关键字关系型数据库维度。
Mondrian系列(五)-深入维度、层次和级别(4)-维度退化和内联表
wonder的地下室
11-30 4406
1.维度退化 维度退化是指对于简单的维度来说，不创建自己的维表，例如，下面的事实表： product_id time_id payment_method customer_id store_id item_count dollars 55
数据仓库基本概念-退化维度
07-25 7179
1.维度退化（DegenerateDimension,DD） 概念： 在维度建模的数据仓库中，有一种维度叫Degenerate Dimension，中文一般翻译为“退化维度”。这种退化维度一般都是事务的编号，如订单编号、发票编号等。这类编号需要保存到事实表中，但是不需要对应的维度表，所以称为退化维度。 退化维度是维度建模领域中的一个非常重要的概念，它对理解维度建模有着非常重要的作用，
数据仓库那点事
u013913482的博客
10-31 784
首先总结下今天被问到的没有答上来的问题吧： 1.mysql和sql的区别 mysql价格便宜，安装使用简便快捷，开源，针对一些对数据库有特别要求的应用可以通过修改代码来实现定向优化 架构：自由选择存储引擎。每个表都是一个文件，可以选择合适的存储引擎。常见的由InnoDB MyISAM 等 有开源版，速度最快，最不安全。 MS sql server是windows生态系统的产品。高度集成化
Degenerate mixture covariance报错是什么意思
04-24
<think>好的，用户现在遇到了“Degenerate mixture covariance”报错，并且希望了解其原因及解决方法。首先，我需要回忆之前与用户的对话历史。用户之前遇到了“ModuleNotFoundError: No module named 'pykalman'”的问题，我提供了安装和故障排除的步骤。现在用户的问题转向了另一个错误，涉及协方差矩阵退化。 首先，我需要理解这个错误的具体含义。Degenerate covariance通常指协方差矩阵在计算过程中变得奇异或非正定，导致无法求逆，这在卡尔曼滤波等算法中常见。可能的原因包括数据维度不足、协方差矩阵初始化不当、数值计算中的舍入误差累积，或者数据本身的问题，比如高度相关或常数变量。 接下来，结合用户提供的引用内容，尤其是引用[2]中提到evo工具在轨迹对齐时出现时间戳不匹配导致的问题，这提示用户可能在使用pykalman处理类似时间序列或轨迹数据时遇到了类似的数据对齐或数据质量问题。用户可能在处理传感器数据、位置估计等任务，例如机器人导航或运动追踪，其中轨迹数据的时间戳同步错误导致了协方差矩阵的问题。 现在需要将Degenerate mixture covariance错误与用户的具体场景联系起来。用户可能在卡尔曼滤波的预测或更新步骤中，协方差矩阵变得退化，导致无法继续计算。可能用户的数据中存在时间戳不对齐，导致数据点无法正确匹配，进而引发协方差矩阵的问题，类似evo工具中的轨迹同步问题。 解决方案方面，首先需要检查数据质量。确保数据没有缺失值或异常值，时间戳对齐，轨迹数据长度一致。如果数据中存在常数或高度相关的变量，可能需要增加噪声或进行降维处理。初始化协方差矩阵时，避免使用零矩阵或单位矩阵，可以添加小的扰动值。在算法层面，可以引入正则化项，如添加一个小的对角线矩阵到协方差矩阵中，防止其退化。另外，使用数值稳定的矩阵分解方法，如Cholesky分解，并检查是否存在数值计算中的下溢或上溢问题。 用户可能对如何在代码中具体实现这些解决方案感兴趣，因此需要提供示例代码，展示如何修改协方差初始化、添加正则化项等。同时，需要提醒用户检查数据来源，确保时间戳同步，避免类似evo工具中的轨迹对齐问题。 最后，用户可能还会遇到其他相关问题，比如如何诊断协方差矩阵是否退化、处理高维数据时的协方差问题，以及卡尔曼滤波的其他常见错误，需要预见到这些问题并准备相应的解答。</think>#### Degenerate Mixture Covariance 报错分析与解决方案 --- ##### **报错本质解析** 该报错表明在概率模型（如卡尔曼滤波、高斯混合模型）计算过程中，协方差矩阵出现 **退化现象**（矩阵秩不足或非正定），导致无法进行矩阵求逆等关键运算。常见于： 1. 数据维度间存在 **完全线性相关**（如两个传感器输出完全一致） 2. 数据样本量远小于特征维度（$n \ll d$） 3. 协方差矩阵初始化不当（如全零矩阵或单位矩阵） 4. 数值计算中的舍入误差累积[^1] --- ##### **核心解决方案** ###### **1. 数据预处理** - **相关性检测** 使用皮尔逊相关系数矩阵检查数据维度间相关性： ```python import numpy as np correlation_matrix = np.corrcoef(data, rowvar=False) ``` 若存在$|r| > 0.95$的维度对，需进行 **特征选择** 或 **降维处理**（PCA/ICA）[^1]。 - **添加噪声扰动** 对原始数据叠加微小高斯噪声破坏完美线性关系： ```python data += np.random.normal(0, 1e-6, data.shape) ``` ###### **2. 算法参数调整** - **正则化协方差矩阵** 在协方差矩阵计算中引入正则化项： ```python from pykalman import KalmanFilter kf = KalmanFilter( transition_covariance=np.eye(3) + 1e-6, # 添加对角线扰动 observation_covariance=np.eye(3) + 1e-6 ) ``` - **矩阵分解优化** 使用数值稳定的矩阵分解方法替代直接求逆： ```python from scipy.linalg import pinvh inv_cov = pinvh(cov_matrix) # 伪逆计算 ``` ###### **3. 代码层面修复** ```python # 修正后的卡尔曼滤波实现示例 def safe_kalman_filter(data): kf = KalmanFilter( initial_state_mean=data[0], initial_state_covariance=np.eye(3) + 1e-3, # 强制正定初始化 transition_matrices=np.eye(3), observation_matrices=np.eye(3), transition_covariance=np.eye(3)*0.01, # 放宽过程噪声 observation_covariance=np.eye(3)*0.1 # 放宽观测噪声 ) return kf.smooth(data)[0] ``` --- ##### **调试技巧** 1. **矩阵条件数检查** ```python cond_number = np.linalg.cond(cov_matrix) print(f"Condition number: {cond_number:.2e}") # >1e15表示严重病态 ``` 2. **特征值分析** ```python eigenvalues = np.linalg.eigvals(cov_matrix) if np.any(eigenvalues <= 0): print("非正定矩阵检测！") ``` --- ##### **关联问题扩展** 1. 如何检测卡尔曼滤波中的数值不稳定问题？ 2. 高斯混合模型中协方差矩阵的初始化策略有哪些？ 3. 实时系统中如何动态调整卡尔曼滤波噪声参数？
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值