Poolweet_的博客

目录1.collect_set函数2.nvl函数3.日期处理函数1.collect_set函数数据：id order-type order-number 1 aa 5 2 bb 2 1 bb 1 2 aa 3 1 aa 2 需求：对用户的订单进行分析，将不同订单类型分别多少单展示出来，每个用户一行实现：1.使用concat（）函数将order_type和order_numb..

目录数仓架构演变离线大数据架构数据仓库分层Lambda架构Lambda架构存在的问题Kappa架构Kappa架构典型案例Kappa架构的重新处理过程Lambda架构和Kappa架构的对比实时数仓和离线数仓数仓架构演变数据仓库概念是Inmon于1990年提出并给出了一个完整的建设方法，随着互联网时代来临，数据量暴增，开始使 用大数据工具来替代经典数仓中的传统工具。 此时仅仅是工具的取代，架构上并没有根本 的区别，可以把这个架构叫做离线大数据架构。后来随着业务

累计快照适用于较短周期，有着明确的开始和结束状态的过程，如一个订单执行的过程，并记录过程中每个步骤的执行时间，使分析人员对执行的过程有整体的把握，周期快照事实表记录上每一个步骤的执行时间是逐步建立的，随着执行的过程逐步更新的事实表中。优惠券的生命周期：领取优惠券→用优惠券下单→优惠券参与支付累计型快照事实表使用：统计优惠券领取次数，优惠券下单次数，优惠券参与支付次数1.建表drop table if exists dwd_fact_coupon_use; COMMENT '删除已存在的表

一.数据仓库分层ODS(Operation Data Store)层：原始数据层，存放加载原始日志、数据，数据保持原貌不做处理。DWD(Data warehouse detail)层：对ODS层数据进行清洗（去除空值，超过极限范围的数据）、维度退化、脱敏等。DWS（data warehouse service）层：以DWD为基础，按天进行轻度汇总。DWT（data warehouse Topic）层：以DWS为基础，按主题进行汇总。ADS（Application Data Store）层：为各种