生成Surrogate Key的几种方案

最新推荐文章于 2024-03-01 15:42:59 发布
原创 最新推荐文章于 2024-03-01 15:42:59 发布 · 2.1k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#代理键生成方案

本文探讨了数据库中维度表和事实表的代理键生成策略，包括更新方式抽取维度表、利用SequenceGeneratorTransformation生成代理键及理解其在既有插入与更新操作时产生的不连续性。

1）维度表一般使用方法（维度表如果清空重新抽取，代理键可能不一样了，需要重新抽取事实表，建议维度表一般采用更新的方式抽取）

取得维度表最大的WID，然后在其基础上累加生成新的代理键插入维度表

 

2）事实表的数据量很大，代理键的意义也不是很重要，一般用Sequence Generator Transformation去生成代理键。

Sequence Generator Transformation每一行都必然会走NEXTVAL，所以，当既有插入又有更新操作时，会产生不连续的代理键是正常的。

Hive/数据仓库_Hive 中如何生成代理键
迎难而上
02-20 3373
前提： 数仓中的维度，事实表技术提倡用代理键代替实体键，下面我们讲解下代理键的概念，以及Hive中如何生成代理键 (自增列) 代理键 ： 维度表中必须有一个能够唯一标识一行记录的列，通过该列维护维度表与事实表之间的关系，一般在维度表中业务主键符合条件可以当作维度主键。 补充： 是由数据仓库处理过程中产生的，与业务本身无关的, 唯一标...
从手动到自动：这6个优化Prompt生成的算法模型，提示工程架构师的选择！
最新发布
Java大师兄的博客
08-04 1004
Prompt优化（Prompt Optimization）是指通过算法自动生成或调整Prompt，使得LLM在目标任务上的生成效果最优。其本质是“从输入空间（Prompt）到输出空间（生成结果质量）的映射优化”。reference = [ "人工智能未来将在医疗、教育、交通等领域带来革命性变化，提高效率，改善生活质量，但也需要解决伦理和隐私问题。" ]适应度函数用于评估Prompt的效果，这里用BLEU分数# 初始化OpenAI客户端"""计算BLEU分数（4-gram）"""
Hive如何实现代理键
数据工匠记
12-04 6312
维度建模之代理键 维度建模-代理键 维度表中必须有一个能够唯一标识一行记录的列，通过该列维护维度表与事实表之间的关系，一般在维度表中业务主键符合条件可以当作维度主键。 没有建立代理键时可能存在的问题： 当整合多个数据源的维度时，不同数据源的业务主键重复怎么办? 涉及维度拉链表时，同一主体多条记录，业务键重复怎么办? 什么是代理键？ 代理键是由数据仓库处理过程中产生的、与业务本身无...
关于DataStage Designer
Yee_Qin的博客
07-30 951
ETL包括数据抽取（Extract）、数据转换（Transform）以及数据加载（Load）3个阶段。 DS（Ascential DataStage）是一套专门对多种操作数据源的数据抽取、转换和维护过程进行简化和自动化，并将其输入数据集市或数据仓库目标数据库的集成工具。 sequential File: 1、Format："Record level" 可以设置读取的长度是固定的，Record length = fixed; "Field defaults" 中可以设置 ...
什么是逻辑主键和业务主键
huangdingsheng的博客
03-10 9602
定义： 逻辑主键（surrogate key）：无意义的字段，即自增长字段，即identity。这其中还有一个选择GUID(Globally Unique Identifier)。 也叫代理主键。 业务主键（natrual key）：有意义的字段，比如身份证 ID。也叫自然主键 维基百科介绍： 在关系数据库设计中，业务主键是一个由以及真实存在于世界中的属性构成的键。业务...
Surrogate Key
Tardis1的专栏
04-18 308
artificial key
反编译乱码终结方案：深入解析JD-GUI字符编码机制及3种有效修复方法
# 反编译乱码修复的深度...我们今天要深入探讨的，正是这个看似简单却影响深远的问题：**反编译过程中的乱码现象及其系统性解决方案**。我们将不再满足于“换个启动参数试试”的浅层应对，而是从JVM底层规范出发，层
缓慢变化维落地实录：SCD Type2在DWS层的3种实现方案对比
# 缓慢变化维与SCD Type2的深度实践：从手动到自动化的演进之路 在智能设备、物联网和实时分析日益普及的今天，企业对数据历史状态的追溯能力提出了前所未有的高要求。试想一下：某电商平台在做“年度客户区域消费...
【多尺度建模难题破解】：当起伏跨越多个波长时，这3种方法最有效
本文系统梳理了多尺度建模的理论基础，涵盖尺度分离、均匀化方法及误差控制机制，并深入剖析了自适应有限元、小波分解与混合区域耦合三类高效建模方法的实现原理与适用场景。通过地形模拟、材料性能预测和海洋波传播...
初始值敏感性破解之道：提升MMA算法鲁棒性的5种前沿研究方法
# 摘要 MMA算法在非线性优化中广泛应用，但其性能易受初始值选择影响，存在显著的初始值敏感性问题。本文系统解析MMA算法基础，构建理论分析框架，揭示优化路径局部收敛行为与目标函数曲率对初值敏感性的数学成因，...
数据仓库中使用代理键（Surrogate Key）
PacificPeng的专栏
08-04 1万+
在DW开发中，常常会使用到代理键，很多做了hendu
MySQL———深入浅出索引
weixin_51311212的博客
06-01 463
文章目录索引模型理论哈希表有序数组搜索树应用InnoDB 的索引模型索引维护逻辑(自增)主键 和 业务主键覆盖索引最左前缀原则索引下推 索引模型理论 什么是索引？ ​   一句话简单来说，索引的出现其实就是为了提高数据查询的效率，就像书的目录一样。一本 500 页的书，如果你想快速找到其中的某一个知识点，在不借助目录的情况下，那我估计你可得找一会儿。同样，对于数据库的表而言，索引其实就是它的 “目录”。 索引的常见模型 ​   索引的出现是为了提高查询效率，实现索引的方式由好多种，所以索
Kimball维度模型之代理键、自然键和持久键
道可道非常道
03-01 1746
​ 在构建稳健的数据仓库时，设计适当的维度模型至关重要。Kimball维度模型作为一种被广泛采用的方法，强调在数据仓库设计中的灵活性和性能优化。其中，代理键、自然键和持久键作为关键的标识手段，在模型中发挥着重要作用。​ 代理键是一种独特的标识符，旨在提供稳定性和性能优势。自然键则以现有数据本身的属性为基础，反映真实业务世界中的关联关系。而持久键则在不同数据源之间确保唯一性，关键用于数据集成和长期存储。
关于维度表结构设置中的 surrogate key 的使用
weixin_30616969的博客
06-22 929
　　维度表中的主键通常有两种选择：自然键（Natural Key），它是业务系统中已经存在的，通常是具有一定业务含义的一个字符型的标志符，可以唯一地标志维度表中的每一条记录。比如机构的代码、缩写、时间标签等。另一种是代理键（Surrogate Key），通常是数据库系统赋予的一个数值，是自增型的，按顺序分配，没有内置含义但也可以唯一地标识一条维度信息。　　项目经验，推荐采用第二种，即代理键。原因如...
数据库中主键、超键、候选键、外键是什么？
热门推荐
data+scenario+science+insight
06-17 2万+
数据库中主键、超键、候选键、外键是什么？ 超键(super key): 在关系中能唯一标识元组的属性集称为关系模式的超键 候选键(candidate key): 不含有多余属性的超键称为候选键。也就是在候选键中，若再删除属性，就不是键了！ 主键(primary key): 用户选作元组标识的一个候选键程序主键 外键(foreign key)：如果关系模式R中属性K是其它模式的主键，那么k在模式R中称为外键。 举例 比如有如下数据： 学号 姓名 性别 年龄 ..
代理键--surrogate keys
weixin_33754065的博客
06-14 1261
为什么80%的码农都做不了架构师？>>> ...
DATASTAGE——Surrogate Key Stage用法
窃破天道
04-16 3994
        功能：产生自增字段。        The Surrogate Key stage generates key columns for an existing data set. You can specify certain characteristics of the key sequence. The stage generates sequentially incremen
关于维度表结构设置中的 surrogate key 的使用！
瞎掰大数据-- 世界的本质是数据，胡侃瞎掰，专注微软大数据解决方案
08-18 1867
关于维度表结构设置中的 surrogate key 的使用！
数据仓库--代理键
yimubanggong的专栏
03-31 6328
[转]数据仓库设计——代理键 转载 2015-12-06 12:12:22 标签：it数据仓库代理键        在关系型数据库设计中，代理键是在当资料表中的候选键都不适合当主键时，例如资料太长，或是意义层面太多，就会用一个attribute来当代理主键，此主键可能是用流水号，来代替可辨识唯一值的主键。        在数据仓库领域有一个概念叫Surrogatekey，中文一般翻
数据库中表一般有几个键
06-04
### 数据库中表的键类型及常见数量 #### 键的分类 数据库中的键主要用于确保数据的完整性和唯一性，以下是常见的键类型及其定义： 1. **主键（Primary Key）** 主键是用于唯一标识表中每一行记录的字段或字段组合。主键字段不允许存储 `NULL` 值，并且必须保证其值的唯一性[^1]。例如： ```sql CREATE TABLE employees ( employee_id INT PRIMARY KEY, first_name VARCHAR(50), last_name VARCHAR(50) ); ``` 2. **候选键（Candidate Key）** 候选键是指能够唯一标识表中每条记录的一个或多个字段。一个表可以有多个候选键，但只能选择其中一个作为主键[^2]。例如，在员工表中，`employee_id` 和 `email` 都可以作为候选键。 3. **外键（Foreign Key）** 外键用于建立和强化两个表之间的关系。它通常引用另一个表的主键，从而实现表之间的关联[^2]。例如： ```sql CREATE TABLE orders ( order_id INT PRIMARY KEY, employee_id INT, FOREIGN KEY (employee_id) REFERENCES employees(employee_id) ); ``` 4. **唯一键（Unique Key）** 唯一键确保字段中的所有值都是唯一的，但它允许存在一个 `NULL` 值。与主键不同的是，一个表可以有多个唯一键[^2]。例如： ```sql CREATE TABLE users ( user_id INT PRIMARY KEY, email VARCHAR(100) UNIQUE ); ``` 5. **代理键（Surrogate Key）** 代理键是一种人工生成的键，通常是一个自增整数或全局唯一标识符（GUID）。它用于避免通过主键的值就可以了解一些业务信息[^1]。例如： ```sql CREATE TABLE products ( product_id INT PRIMARY KEY AUTO_INCREMENT, -- 代理键 product_name VARCHAR(100) ); ``` 6. **复合键（Composite Key）** 当单个字段无法唯一标识记录时，可以使用由多个字段组成的组合键。这种键称为复合键。例如： ```sql CREATE TABLE order_details ( order_id INT, product_id INT, quantity INT, PRIMARY KEY (order_id, product_id) -- 复合键 ); ``` #### 键的数量 - 一个表只能有一个主键，但主键可以由一个或多个字段组成。 - 一个表可以有多个候选键，但只能选择其中一个作为主键。 - 一个表可以有多个唯一键。 - 一个表可以有多个外键，每个外键对应一个关联表。 - 代理键通常作为主键的一部分，因此数量与主键一致。 #### 示例代码 以下是一个包含多种键类型的表设计示例： ```sql CREATE TABLE employees ( employee_id INT PRIMARY KEY AUTO_INCREMENT, -- 主键/代理键 email VARCHAR(100) UNIQUE NOT NULL, -- 唯一键 department_id INT, FOREIGN KEY (department_id) REFERENCES departments(department_id) -- 外键 ); ``` --- ###
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值