数仓开发：DIM层数据处理

DrKYQ

已于 2024-05-05 11:18:40 修改

阅读量1.2k

点赞数 18

文章标签：大数据数据库数据仓库数据库架构

于 2024-05-04 19:58:29 首次发布

本文链接：https://blog.youkuaiyun.com/DrKYQ/article/details/138448647

版权

本文介绍了数仓开发中的DIM层处理，涉及动态分区配置、维度表数据清洗（如拉平处理、分类映射）、以及选择PostgreSQL作为数据库的原因和基本使用方法，还涵盖了如何将Hive表数据导出到PostgreSQL的过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、了解DIM层

这个就是数仓开发的分层架构

我们现在是在DIM层，从ods表中数据进行加工处理，导入到dwd层，但是记住我们依然是在DIM层，而非是上面的ODS和DWD层。

二、处理维度表数据

①先确认hive的配置

-- 开启动态分区方案
-- 开启非严格模式
set hive.exec.dynamic.partition.mode=nonstrict;
-- 开启动态分区支持(默认true)
set hive.exec.dynamic.partition=true;
-- 设置各个节点生成动态分区的最大数量: 默认为100个 (一般在生产环境中, 都需要调整更大)
set hive.exec.max.dynamic.partitions.pernode=10000;
-- 设置最大生成动态分区的数量: 默认为1000 (一般在生产环境中, 都需要调整更大)
set hive.exec.max.dynamic.partitions=100000;
-- hive一次性最大能够创建多少个文件: 默认为10w
set hive.exec.max.created.files=150000;

-- hive压缩
-- 开启中间结果压缩
set hive.exec.compress.intermediate=true;
-- 开启最终结果压缩
set hive.exec.compress.output=true;
-- 写入时压缩生效
set hive.e