Having

最新推荐文章于 2025-03-05 18:47:00 发布
最新推荐文章于 2025-03-05 18:47:00 发布
阅读量192 收藏 1
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_60046620/article/details/119239785
版权
本文详细介绍了数据仓库的概念，特点包括面向主题、集成、非易失性和时变性。数据仓库与数据库的主要区别在于设计目标、数据类型、数据特性和操作类型。数据仓库用于分析和决策支持，而数据库则侧重事务处理。文中还讨论了传统数据仓库的MPP架构和分布式架构，以及ETL过程。数据仓库的层次结构包括ODS、DWD、DWS和ADS，分别负责数据积存、清洗、汇总和应用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

数据仓库（DW）

是一个面向主题的，集成的，非易失的且随时间变化的数据集合

主要用于组织积累的历史数据，并使用分析法（OLAP、数据分析）进行分析整理，进而辅助决策，为管理者、企业系提供数据支持，构建商业智能。

数据仓库特点：

1.面向主题：为数据分析提供服务，根据主题将原始数据集合在一起

2.集成：原始数据来源于不同数据源，要整合成最终数据，需要经过抽取，清洗，转换的过程

3.非易失：保存的数据是一系列历史快照，不允许被修改，只允许通过工具进行查询、分析（同步过来的数据是不允许被修改的）

4.时变性：数仓会定时接收，集成新的数据，从而反映出数据的最新变化。（业务数据每天的数据都会有变化，数据仓库每天同步一次，目的是为了保证与业务数据库相一致）

数据仓库VS数据库 

数据库面向事务设计，属于OLTP（在线事务处理）系统，主要操作是随机读写；在设计时尽量避免冗余，常采用符合范式规范来设计。

数据仓库时面向主题设计的，属于OLAP(在线分析处理)系统，主要操作时批量读写；关注数据整合，以及分析、处理性能；会有意引入冗余，采用反范式方式设计。

数据库数据仓库
面向事务分析
数据类型细节、业务综合、清洗过的数据
数据特点当前的、最新的历史的、跨时间维护
目的日常操作长期信息需求、决策支持
设计模型基于ER模型，面向应用星形/雪花模型，面向主题
操作读/写大多为读
数据规模GB到TB>=TB

数仓一般存储的是历史的，不可能实时去同步

传统数据仓库

  • 由关系型数据库组成MMP（大规模并行处理）集群 ：传统数仓因为是由单机数据库发展而来的   由一个单节点，组成一个集群进行数据存储，包括运算。 

MPP&分布式架构

MPP架构

  • 传统数仓中常见的技术架构，将单机数据库节点组成集群，提升整体处理性能（集群比单机数据库的节点整体性能更，适合大规模数据的处理  ）
  • 节点间为非共享架构（Share Nothing），每个节点都有独立的磁盘存储系统和内存系统（既可以存储数据，又可以进行运算）
  • 每台数据节点通过专用网络或者商业通用网络互相连接，彼此协同计算，作为整体提供服务
  • 设计上优先考虑C（一致性），其次考虑A（可用性），尽量做好P（分区容错性）（运算方式，数据管理方式比较精细，更注重锁、事务包括内外层交互的细节，从而保证数据的一致性）

架构优点

  • 运算方式精细，延迟低、吞吐低
  • 适合中等规模的结构化数据处理

架构缺点

  • 存储位置不透明，通过Hash确定数据所在的物理节点，查询任务在所有节点均会执行（没办法确定需要查询的任务在哪个节点所以所有的节点都会执行）。
  • 并行计算时，单节点的瓶颈会成为整个系统短板，容错性差（随着节点的增加，集群规模的增大，节点故障率会越来越高，瓶颈故障率会越发明显，这就是MPP数据库扩展性较差的更笨原因）
  • 分布式事务的实现会导致扩展性降低

分布式架构

  • 大数据中常见的技术架构，也成为Hadoop架构/批处理架构 （MPP架构无法单独运行局部应用，只能作为一个整体对外提供服务）
  • 各个节点实现场地自治（可以单独运行局部应用），数据在集群中全局透明共享（MPP不共享数据，但是批处理架构他数据的访问是透明的。）
  • 每台节点通过局域网或广域网相连，节点间的通信开销较大，在运算时致力减少数据移动（移动计算而不是移动数据）

MPP + 分布式架构

  • 数据存储采用分布式架构中的公共存储，提高分区容错性
  • 上层架构采用MPP，减少运算延迟

架构

ETL --> ODS（操作数据源层） -->CDM（公共维度模型层）1.DWD （数据明细层）接受ODS层的数据，最后拿到的是统一规范后的一些数据 这些数据主要还是为数据分析服务，数据明细层对数据清洗完后还不能直接用于数据分析的任务  2. DWS（数据汇总层） 整个CDM层为数据分析提供服务的 -->ADS（数据应用层）报表决策，并发查询，搜索检索。

ETL --Extract-Transform-Load

数据抽取（Extract）

  • 抽取的数据源可以分为结构化数据、非结构化数据、半结构划数据
  • 结构化数据一般采用JDBC、数据库日志方式，非|半结构化数据会监听文件变动（数据库为了保证数据的可靠性，在对数据进行操作的时候他都会先把这些记录写到日志里，对这种WAL日志的一个采集对数据库的影响是极小的。对采集到的数据库日志需要经过解析之后，才能获取到数据）

抽取方式

  • 数据抽取方式有全量同步、增量同步两种方式
  • 全量同步会将全部数据进行抽取，一般用于初始化数据装载
  • 增量同步方式会检测数据的变动，抽取发生变动的数据，一般用于数据更新

数据转换（Transformation）

  • 数据转换要经历数据清洗和转换两个阶段

        --数据清洗主要是对出现的重复性，二义性、不完整、违反业务或逻辑规则等问题的数据进              行统一的处理

        --数据转换主要是对数据进行标准化处理，进行字段、数据类型、数据定义的转换

  •  结构化数据在转换过程中的逻辑较为简单，非|半结构化数据的转换会较为复杂

数据加载（Loading）

  • 将最后处理完的数据导入到对应的目标源里

操作数据层（ODS）

在数据仓库中完成数据积存的一个任务，既然要做数据积存的话意味着它ODS层保存的数据是必须与原业务数据保持一致的且不允许修改。保持一致 --ODS层的数据是原始数据的一个扩充集。

  • 数据与原业务数据保持一致，可以增加字段用来进行数据管理
  • 存储的历史数据是只读的，提供业务系统查询使用
  • 业务系统对历史数据完成修改后，将update_type字段更新为UPDATE，追加回ODS中
  • 在离线数仓中，业务数据定期通过ETL流程导入到ODS中，导入方式会有全量、增量两种

        -- 全量导入：数据第一次导入时，选择此种方式

        --增量导入： 数据非第一次导入，每次只需要导入新增，更改的数据，建议使用外连接&全覆                               盖方式（每天新增的数据可以直接追加到ODS里面，）

数据明细层（DWD）

  • 数据明细层对ODS层的数据进行清洗、标准化、维度退化（时间、分类、地域）（维度是对数据的组织方式，维度也可以是对商品数据的组织）
  • 数据仍然满足3NF模型，为分析运算做准备

数据汇总层（DWS）

  • 数据汇总层的数据对数据明细层的数据，按照分析主题进行计算汇总，存放便于分析的宽表

  • 存储模型并非3NF，而是注重数据的聚合，复杂查询，处理性能能优的数仓模型，如维度模型

数据应用层（ADS）

  • 数据应用层也被称为数据集市
  • 存储数据分析结果，为不同业务场景提供接口，减轻数据仓库的负担   

       -- 数据仓库擅长数据分析，直接开放业务查询接口，会加重其负担

       

--------听课笔记

Plunder.
关注
HAVING用法
MRGCODING
06-26 16万+
1语法：group by 字段 having 条件判断;group by的用法我已经在上一篇经验中介绍了2还是已员工绩效表为例3我们如果就是查询每个部门成绩大于89的员工数，可以这样写：SELECT dept,COUNT(user_name) FROM ec_uses WHERE score>89 GROUP BY dept;对这个查询的过程进行分析，其实是：先查出绩效成绩大于89的员工记录...
SQL中where子句与having子句的区别小结
09-09
在SQL查询中，`WHERE`子句和`HAVING`子句都是用来过滤数据的，但它们的应用场景和功能有所不同。`WHERE`子句主要用于在数据分组之前筛选单个行，而`HAVING`子句则是在数据经过`GROUP BY`分组后对分组结果进行筛选。 ...
Having 的用法
java-admin
10-10 479
下面是Having的学习笔记 注意：Having和Where的区别，简单的使用where，如果有group by的话那么就需要用Having在group by后面作为条件，如果在group的前面就需要用where来做限定条件。 HAVING 子句 在 Select 语句中指定，显示哪些已用 GROUP BY 子句分组的记录。在GROUP BY组合了记录后， HAVING会显示 GROUP BY ...
mysql之基本常用的语法
最新发布
m0_74824845的博客
03-05 678
primary key：主键约束，not null 和unique的结合，确保某列有唯一标识；注意：不带where时，会把表中所有的数据都删掉，带where只会删除满足条件的数据；foreign key：外键约束，保证参照完整性，一个表中的数据匹配另一个表中的值；注意：插入数据时，需要注意插入的值和对应列的字段类型需要保持一致；在select的基础上加上条件，进行条件筛选，查询满足条件的数据；unique：唯一约束，保证某列的每行必须有唯一的值；check：检查约束，保证列中的值符合指定的条件；
SQL HAVING用法详解
热门推荐
留下脚印
11-24 16万+
<br /><br />HAVING 子句对 GROUP BY 子句设置条件的方式与 WHERE 和 SELECT 的交互方式类似。WHERE 搜索条件在进行分组操作之前应用；而 HAVING 搜索条件在进行分组操作之后应用。HAVING 语法与 WHERE 语法类似，但 HAVING 可以包含聚合函数。HAVING 子句可以引用选择列表中显示的任意项。<br /> <br />下面的示例按产品 ID 对 SalesOrderDetail 进行了分组，并且只包含那些订单合计大于 $1,000,000 且其平
having
lirryyes的博客
08-14 388
having必须和group by一起使用 SELECT Country from Customers GROUP BY Country #且必须在group by的后面 HAVING COUNT(country)> 2; having后面必须接Aggregate 函数 例如：如下sql语句会报如下错误，改成HAVING count（CustomerID）>2即...
HAVING
一壶相思酒，醉卧忆佳人
09-03 1926
having使用其实和where有些类似，只是where使过滤行，而having使过滤分组，结合group by使用 SELECT FROM WHERE GROUP BY HAVING ORDER BY
PostgreSQL HAVING 子句
12-16
在SQL查询中，`HAVING`子句是用于在聚合函数和`GROUP BY`子句之后筛选结果集的关键部分，特别是在处理分组数据时。在PostgreSQL中，`HAVING`子句的功能与`WHERE`子句类似，但两者的应用场景有所不同。`WHERE`子句...
MySQL中无GROUP BY情况下直接使用HAVING语句的问题探究
09-10
在MySQL中，`GROUP BY` 和 `HAVING` 通常一起用于聚合查询，用来筛选满足特定条件的分组。然而，当没有 `GROUP BY` 子句时，直接使用 `HAVING` 可能会导致非预期的行为。这个问题的探讨主要集中在 `HAVING` 后面直接...
oracle中where 子句和having子句中的区别介绍
12-16
在Oracle数据库中，`WHERE`子句和`HAVING`子句都是用于限制查询结果的条件，但它们在使用场景和功能上有显著的区别。 首先，`WHERE`子句主要用于筛选单个行的数据，它不能与`GROUP BY`子句一起出现在查询的同一层次...
Mysql中order by、group by、having的区别深入分析
12-15
在MySQL数据库中，ORDER BY、GROUP BY 和 HAVING 子句是SQL查询中用于数据处理的关键组成部分，它们各自承担不同的任务，以帮助我们从数据库中提取有用的信息。 ORDER BY 子句主要用于对查询结果集进行排序。当你...
HAVING语句
weixin_33769207的博客
11-14 225
本页目录 HAVING 子句 语法 示例 HAVING 子句 您需要添加HAVING子句，才能使WHERE语句和合计函数一起运用。 语法 SELECT [ ALL | DISTINCT ]{ * | projectItem [, projectItem ]* } FROM tableExpression [...
Having的用法
zl的博客
04-25 9610
一、实例 Examine the description of the EMPLOYEES table: EMP_ID NUMBER(4) NOT NULL LAST_ NAME VARCHAR2(30) NOT NULL FIRST_NAME VARCHAR2(30) DEPT_ID NUMBER(2) JOB_CAT VARCHAR2(30) SALARY NUMBER(8,2) Which
having 的用法
arrow_gx的专栏
05-28 1065
指定组或聚合的搜索条件。HAVING 只能与 SELECT 语句一起使用。HAVING 通常在 GROUP BY 子句中使用。如果不使用 GROUP BY 子句，则 HAVING 的行为与 WHERE 子句一样。 以WHERE 不同的地方在于，having可以在条件里面带聚合函数 sum ,count 比如：select * from book where authorid in (select
having的用法
qq_43607201的博客
07-24 1420
Having 经常与聚合函数和group by 一起使用，用于过滤由group by语句返回的记录集。 having子句与where有相似之处但也有区别,都是设定条件的语句。 HAVING子句可以让我们筛选成分组后的各组数据 HAVING子句在聚合后对组记录进行筛选 而WHERE子句在聚合前先筛选记录．也就是说作用在GROUP BY 子句和HAVING子句前 例如： 查询每门课程的平均成...
having子句的用法
weixin_30770495的博客
03-14 142
指定组或聚合的搜索条件。HAVING 只能与 SELECT 语句一起使用。通常在 GROUP BY 子句中使用它。如果不使用 GROUP BY 子句，HAVING 的行为与 WHERE 子句一样。 SELECT Sales.Customer.CustomerID, Sales.SalesOrderHeader.SalesOrderID, SU...
having用法
啊猿的博客
05-27 7391
有一个courses 表 ，有: student (学生) 和 class (课程)。 请列出所有超过或等于5名学生的课。 例如，表： 应该输出: 方法一：使用 GROUP BY 子句和子查询【通过】 思路 先统计每门课程的学生数量，再从中选择超过 5 名学生的课程。 算法 使用 GROUP BY 和 COUNT 获得每门课程的学生数量。 SELECT class, COUNT(DISTINCT student) FROM courses GROUP BY class ; 注：使用 D
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值