自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(8)
  • 收藏
  • 关注

原创 主题项目——数据仓数据处理步骤

建模:梳理数据表详细业务,整理逻辑,采用星星模型或雪花模型来进行建模形成宽表框架(宽表空表,无数据),再进行dws-ods的表映射,写sql脚本上传,再写hive脚本调用,最终在dbeaver的dws层形成宽表,建立宽表层。进行清洗数据(统一数据类型、码值(银行编码表)、命名(脱敏规则:正则公式可以实现替换,校验的功能)、异常值(空值、不符合规范、特殊符号),用正则表达式),使数据更规范一般在标准层—dwd层进行。需求沟通——明确数据指标——根据数据指标(详细业务的统一口径),做数据倾斜处理。

2026-07-15 18:04:48 163

原创 hive 学习笔记5——hive常用操作(日常短篇练习应用)

注: Hive 中的string 类型可以存储一切的数据。3.建表常用数据类型——复杂类型取值。

2026-07-09 09:04:34 55

原创 hive学习笔记4——建表要求+表类型

在Hive中,对表进行分桶(Bucketing)是一种优化数据查询和数据存储的方法。分桶是通过将数据分散到多个文件中,每个文件包含表中某一列(或几列)的相同值,从而使得查询可以更快地定位到需要的数据。分区表通过将数据分散到不同的分区中,使得查询仅分区数据,而不是整个表,从而减少了数据扫描的范围。不加就是内部托管表,删表文件一起删除。3. SKEWED BY 倾斜优化针对某几个值数据量超大(数据倾斜),单独存目录,减少查询卡顿。作用:完全复刻原表字段、分区、分桶、存储格式,不复制数据,可自定义新表存储路径。

2026-07-08 21:31:03 232

原创 笔记1:数据仓库——与项目之间的联系

~数据仓库,英文名称为Data Warehouse,可简写为DW或DWH。数据仓库,是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合。它是单个数据存储,出于分析性报告和决策支持目的而创建。为需要业务智能的企业,提供指导业务流程改进、监视时间、成本、质量以及控制。

2026-07-08 09:01:18 271

原创 hive学习笔记3

(是指写入字段的数据,不符合该字段定义的数据类型规则、取值范围、格式约束,Hive 识别不出的数据,例如:字段定义 TINYINT(范围 - 128~127),写入 200:数值越界,即非法数据)写入。③字符串:CHAR(定长)、VARCHAR(可变长)、STRING(无限长),短固定文本用 CHAR,短可变文本用 VARCHAR,长文本用 STRING;可通过函数substr(timestamp,‘第几位开始’,‘取几位数’)提取年、月、日、时、分、秒、毫秒。适合存储大段文本(如日志、文章内容);

2026-07-04 20:29:09 254

原创 【hive学习笔记2】

hive的测试与运行框架解读

2026-07-02 22:20:12 245

原创 【hive学习笔记】

hive概念理解、配置DBeaver上hive的方法

2026-07-01 21:03:36 225

原创 【Hadoop-H D F S读写流程】

hadoop-hdfs分布式系统的读写流程,hadoop核心系统主要功能运行,以及hadoop-hdfs分布式系统的命令集合,Hadoop集群常用端口号。

2026-06-30 21:54:13 336

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除