FunnyPrince_的博客

目录一、Kylin1.1 Kylin简介1.1.1 Kylin定义1.1.2 Kylin相关术语1.1.3Kylin架构1.1.4 Kylin特点一、Kylin1.1 Kylin简介1.1.1 Kylin定义Apache Kylin是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay Inc开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。1.1.2 Kylin相关术语Data Warehouse (数据

⚠️报错：Failed to find metadata store by url: kylin_metadata@hbaseat org.springframework.beans.factory.annotation.AutowiredAnnotationBeanPostProcessor$AutowiredFieldElement.inject(AutowiredAnnotationBeanPostProcessor.java:588) at org.springframewor

一、HBase简介1.1 HBase定义HBase是一种分布式、可扩展、支持海量数据存储的NoSQL数据库。1.2 HBase数据模型逻辑上，HBase 的数据模型同关系型数据库很类似，数据存储在一张表中，有行有列。但从 HBase 的底层物理存储结构(K-V)来看，HBase 更像是一个 multi-dimensional map。1.2.1 HBase逻辑结构1.2.2 HBase 物理存储结构1.2.3 数据模型Name Space命名空间，类似于关系型数据库的 Datab

目录一、Superset入门1.1 Superset概述1.2 Superset应用场景二、Superset安装及使用2.1 安装Python环境2.1.1 安装Miniconda2.1.2 创建Python3.7环境2.2 Superset部署一、Superset入门1.1 Superset概述Apache Superset是一个开源的、现代的、轻量级BI分析工具，能够对接多种数据源、拥有丰富的图表展示形式、支持自定义仪表盘，且拥有友好的用户界面，十分易用。1.2 Superset应用场景由于S

#!/bin/bashAPP=gmallif [ -n "$2" ] ;then do_date=$2else echo "请传入日期参数" exitfidws_visitor_action_daycount="insert overwrite table ${APP}.dws_visitor_action_daycount partition(dt='$do_date')select t1.mid_id, t1.brand, t1.model

目录一、Azkaban概论1.1 为什么需要工作流调度系统1.2 常见工作流调度系统1.3 Azkaban 与 Oozie 对比二、Azkaban集群安装2.1 集群模式安装2.1.1 安装包准备2.1.2 配置 MySQL2.1.3 配置 Executor Server2.1.4 配置 Web Server2.2 Work Flow 案例2.2.1 HelloWorld2.2.2 作业依赖案例2.2.3 自动失败重试案例2.2.4 手动失败重试案例三、Azkaban进阶3.1 JavaProcess 作

目录八、数仓搭建-DWT层8.1 访客主题8.2 用户主题8.3 商品主题8.4 优惠券主题8.5 活动主题8.6 地区主题8.7 DWT层首日数据导入脚本8.8 DWT层每日数据导入脚本八、数仓搭建-DWT层8.1 访客主题建表语句DROP TABLE IF EXISTS dwt_visitor_topic;CREATE EXTERNAL TABLE dwt_visitor_topic( `mid_id` STRING COMMENT '设备id', `brand` STR

目录七、数仓搭建-DWS层7.1 系统函数7.1.1 nvl函数7.1.2 日期处理函数7.1.3 复杂数据类型定义7.2 DWS层7.2.1 访客主题7.2.2 用户主题7.2.3 商品主题7.2.4 优惠券主题7.2.5 活动主题7.2.6 地区主题7.2.7 DWS层首日数据装载脚本7.2.8 DWS层每日数据装载脚本七、数仓搭建-DWS层7.1 系统函数7.1.1 nvl函数基本语法：NVL（表达式1，表达式2）如果表达式1为空值，NVL返回值为表达式2的值，否则返回表达式1的值。该函

目录一、数仓分层1.1 为什么要分层1.2 数据集市与数据仓库概念1.3 数仓命名规范1.3.1 表命名1.3.2 脚本命名1.3.3 表字段类型二、数仓理论2.1 范式理论2.1.1 范式概念2.1.2 函数依赖2.1.3 三范式区分2.2 关系建模与维度建模2.2.1 关系建模2.2.2 维度建模⭐️2.3 维度表和事实表⭐️2.3.1 维度表2.3.2 事实表2.4 维度模型分类2.5 数据仓库建模⭐️????2.5.1 ODS层2.5.2 DIM层和DWD层2.5.3 DWS层与DWT层2.5.4

目录1).2).3).4).5).6).7).8).9).

加油干hhhhhh