hive作为数仓，各个层次的存储格式

最新推荐文章于 2025-02-10 14:47:27 发布

qq_37301790

最新推荐文章于 2025-02-10 14:47:27 发布

阅读量2k

点赞数

文章标签：数据仓库

本文链接：https://blog.youkuaiyun.com/qq_37301790/article/details/104660107

版权

这篇博客介绍了Hive在数据仓库中的应用，特别是ODS层的数据处理。通过Sqoop从MySQL导入数据到HDFS，并创建使用Snappy压缩的Parquet表。此外，还讨论了日志数据的存储，使用了LZO压缩的文本格式。DWD和DWS层则选择了Parquet格式，而ADS层由于 Sqoop 导出限制，采用默认的textfile格式。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

hive作为数仓，分为 1、业务数据的数仓，来源于mysql
2、用户行为数仓（日志），来源于采集系
hive ：
ods层：用sqoop将mysql的数据导入到hdfs
创建Snappy压缩格式的Parquet结构的表
drop table if exists ods_order_info;
create table ods_order_info (
id string COMMENT ‘订单编号’,
total_amount decimal(10,2) COMMENT ‘订单金额’,
order_status string COMMENT ‘订单状态’,
…
) COMMENT ‘订单表’
PARTITIONED BY ( dt string)
row format delimited fields terminated by ‘\t’
location ‘/warehouse/gmall/ods/ods_order_info/’
tblproperties (“parquet.compression”=“snappy”)
日志：
drop table if exists ods_start_log;
CREATE EXTERNAL TABLE ods_start_log(line string)
PARTITIONED BY (dt string)
STORED AS
INPUTFORMAT ‘com.hadoop.mapred.DeprecatedLzoTextInputFormat’
OUTPUTFORMAT 'org.apache.ha