建表压缩hive配置

Hive ---- 文件格式和压缩 为了支持多种压缩/解压缩算法,Hadoop引入了编码/解码器,如下表所示:Hadoop查看支持压缩的方式hadoop checknative。Hadoop在driver端设置压缩。 阅读详情
-- Create table
set hive.exec.dynamic.partition.mode=nonstrict;--使用动态分区
set hive.exec.compress.output=true;--控制hive的查询结果输出是否进行压缩
set mapreduce.map.output.compress=true;----压缩输出
set mapred.map.output.compress.codec=org.apache.hadoop.io.compress.SnappyCodec;
set mapreduce.output.fileoutputformat.compress=true;--开启mapreduce中map输出压缩功能,默认为false
set mapreduce.output.fileoutputformat.compress.codec=org.apache.hadoop.io.compress.SnappyCodec;--设置mapreduce中map输出数据的压缩方式
set mapreduce.output.fileoutputformat.compress.type=BLOCK;--设置mapreduce最终数据输出压缩为块压缩
set PARQUET.COMPRESSION=SNAPPY;--设置压缩


drop table if exists dwd_fahs.collect_accounts_accounting_su;
create table DWD_FA.collect_accounts_accounting_su
(
  ann                  string       comment '年份',
  subj_code            string       comment '科目编号',
  collacco_code        string       comment '套账编号',
  subj_name            string       comment '科目名称',
  subj_level_code      string       comment '科目级别代码',
  supr_subj_code       string       comment '上级科目编号',
  subj_type_code       string       comment '科目类别代码',
  subj_prop_code       string       comment '科目性质代码',
  subj_prop_desc       string       comment '科目性质描述',
  curr_code            string       comment '币种代码',
  balc_dir_code        string       comment '余额方向代码',
  subj_lvl             string       comment '科目层级',
  detail_subj_sign     string       comment '明细科目标志',
  check_sign           string       comment '核算标志',
  carryover_sign       string       comment '结转标志',
  batch_time           string       comment '跑批起始时间',
  created_by           string       comment '操作人',
  ndc_created_time     string       comment '数据创建时间',
  ndc_updated_time     string       comment '数据更新时间'
) partitioned by (orisys string)
    row format delimited fields terminated by "\u0001"
    stored as parquet
    location '/user/hive/warehouse/dwd_fa.db/collect_accounts_accounting_su'
    tblproperties ("parquet.compression" = "snappy");


技本功|Hive优化之建表配置参数调优(一) 简介: Hive是大数据领域常用的组件之一,主要用于大数据离线数仓的运算,关于Hive的性能调优在日常工作和面试中是经常涉及的一个点,因此掌握一些Hive调优是必不可少的一项技能。影响Hive效率的主要因素有数据倾斜、数据冗余、job的IO以及不同底层引擎配置情况和Hive本身参数和HiveSQL的执行等。本文主要从建表配置参数方面对Hive优化进行讲解。 创建一个普通的表 create table test_user1(id int, name string,code string,code_id str 阅读详情

相关推荐

Spark3实战:如何用ZSTD压缩优化Hive表存储(附ORC/Parquet配置示例)

本文详细介绍了在Spark3环境中使用ZSTD压缩算法优化Hive表存储的实战方法。通过对比ZSTD与Snappy等传统算法的性能,阐述了其在提升压缩比(可达20%-30%)与查询效率方面的优势,并提供了针对ORC、Parquet等文件格式的具体配置示例与迁移步骤,帮助大数据团队有效降低存储成本。

github5actions的博客 989

hive数据压缩

hive表通常压缩为保存为orc文件,默认压缩方法为zlib(io.compression.codecs=org.apache.hadoop.io.compress.DefaultCodec),压缩比约为11% -- 创建orc压缩表 CREATE TABLE `zxdm_dim.d_acct_info_backup_orc`( `acct_id` string, `acct_name...

未来将会如何 511

【hive调优】

hive建表设计层面调优 1.分区表 分区表,查询的时候只会扫描分区的数据,避免全表查询; 所以一定要用在查询时where条件中经常使用的字段作为分区字段,就比如datetime 2.分桶表 分桶表示hash散列,把一系列的记录按照hash散列进行分类; 一个分桶中会有多个不同的值,如果一个分桶中包含了某个值,那么这个值的所有的记录必然都在这个分桶中; 分桶经常使用的场景: join 采样 比如想去分析某个数据的中位数,或者平均值啊 最大最小值,从全表算是很消耗性能的;此时可以用分桶表,分桶表中的数据具备

weixin_43589563的博客 1679

[Hive] Hive表压缩

目录 (1)压缩概述 (2)开启Map输出阶段压缩 (3)开启Reduce输出阶段压缩 (4)创建表时指定压缩格式 (1)压缩概述 MR支持的压缩编码,表1 为了支持多种压缩/解压缩算法,Hadoop引入了编码/解码器,表2 压缩性能的比较,表3 注:表1,表2,表3来自网络。 假如有一个表: create table emp_t( id int, name String, deptno int) row format delimited ...

henku449141932的博客 1892

VSCode里玩转AvaloniaUI:手把手教你搭建跨平台桌面应用开发环境(附.NET 7配置避坑)

本文详细介绍了如何在VSCode中搭建AvaloniaUI跨平台桌面应用开发环境,包括.NET 7配置避坑指南。从环境准备、项目创建到调试优化,手把手教你利用VSCode和Avalonia实现高效开发,特别解决了.NET 7依赖等常见问题,助力开发者快速上手跨平台应用开发。

weixin_28826545的博客 578

vivado2020.2安装教程:Windows平台完整指南

手把手带你完成vivado2020.2安装教程,覆盖下载、配置到验证全过程,解决常见安装问题,确保在Windows平台顺利部署开发环境,适合初学者快速上手。

weixin_42607969的博客 1347

大数据框架Hive——Hive的优化:中间表、设置压缩格式、列式存储、列式存储格式结合压缩格式

Hive优化——中间表 为什么使用中间表 一张大的表中,常涉及几十到上百个字段 但是分析数据时需要的数据,只有几个字段 但如果此时分析原表,需要扫描的字段就太多了 那么,可以将需要使用到的字段抽取出来,存放到另一张表中 可以节省时间,可以理解为使用了更多的空间换取更快的执行速度 使用中间表的方法 方法一:抽取字段,建立新表 该方法就是建立一张新的表,表中的字段是从大表中抽取出的部...

蚂蚁 3583

Redis 可视化工具 RedisInsight 的保姆级安装以及使用(最新)

Redis 可视化工具 RedisInsight 的保姆级安装以及使用(最新)

一名全栈小白的博客 1万+

创建hive表,指定存储和压缩格式

一、指定存储格式是ORC,压缩格式是orc默认的ZLIB压缩 建表语句 create table log_orc_none( track_time string, url string, session_id string, referer string, ip string, end_user_id string, city_id string ) row format delimited fi...

徐磊的博客 9435

HPM6E00:PWM V2使用指南

HPM6E00:PWM V2使用指南

xikangsoon的博客 1736

CSP-J2019普及组复赛T4:加工零件

CSP-J2020普及组复赛T1:优秀的拆分,广度优先遍历求最短路。

少儿编程乔老师 1854

hive配置orc存储格式,支持SNAPPY和ZLIB压缩方式

hive配置orc存储格式,支持SNAPPY和ZLIB压缩方式。1、指定压缩方式为SNAPPY。2、指定压缩方式为ZLIB。默认为ZLIB压缩方式。

Good good study,day day up 2662

基于深度学习YOLOv8的商品识别系统(深度学习 + UI界面 + 训练数据集 + Python代码)

如果使用自定义数据集,可以通过图像标注工具如LabelImg来标注每个商品的类别和边界框,并保存为YOLO格式的文本文件。bash复制编辑/dataset/images/train/val/labels/train/val这样,我们就准备好了数据集,可以开始训练YOLOv8模型。本文介绍了如何使用YOLOv8构建一个商品识别系统,包括从数据准备到模型训练,再到UI界面的开发。通过深度学习技术,尤其是YOLOv8的高效目标检测能力,我们能够快速实现商品识别并集成到实际应用中。

YOLO 303

Hive ORC + SNAPPY

Hive orc 格式 + snappy 压缩是比较常用的存储加压缩格式。 今天处理下面的场景时,解决了一些问题,记录下来: flume消费kafka的数据实时写入hdfs,通过创建分区表,t + 1 时,需要看到昨天的数据:    flume 通过snappy 将数据写入hdfs,可以通过在fliume.conf中配置以下 保证每天的数据写入同一个目录中: agent.s...

weixin_30664051的博客 940

数字逻辑Fundamentals of Digital Logic with Verilog Design | 3rd Edition Solutins Chapter 6(step by step)

第六章6-1~6-42习题详解,缺少6-39和6-40

weixin_62651190的博客 1468

点云从入门到精通技术详解100篇-基于点云语义分割的电力线提取及聚类研究

在现代社会,电力一直扮演着最重要的角色之一。它不仅与人民的生活息息相关,更是一个国家发展的命脉。近年来,随着我国各特高压输电线路建成(比如2022年1月份白鹤滩江苏特高压输电线路的放线)以及电网规模的不断扩大,我国年发电量稳步上升,人民的生活水平越来越高。我国土地辽阔,输电线路分布广泛,再加上地形环境复杂多样,电力线可能遭受风吹雨晒甚至是冰雪寒灾的影响。因此,为了保障电力线的可靠供电,防止停电意外发生,电力部门要定期对输电线路进行检查。目前我国主要。

getusushu的博客 1010

hive 修改表的存储格式_Hive优化之建表配置参数调优(一)

简介: Hive是大数据领域常用的组件之一,主要用于大数据离线数仓的运算,关于Hive的性能调优在日常工作和面试中是经常涉及的一个点,因此掌握一些Hive调优是必不可少的一项技能。影响Hive效率的主要因素有数据倾斜、数据冗余、job的IO以及不同底层引擎配置情况和Hive本身参数和HiveSQL的执行等。本文主要从建表配置参数方面对Hive优化进行讲解。创建一个普通的表create table ...

weixin_36406678的博客 1524

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

Spark3与Hive集成:ZSTD压缩在ORC格式中的高效实践

本文深入探讨了Spark3与Hive集成环境下,采用ZSTD压缩算法优化ORC格式存储的实践方案。通过版本配置、建表示例及性能对比,证实ZSTD在提供接近Gzip高压缩率的同时,保持了接近Snappy的读写速度,能有效降低存储成本并提升查询效率,是数据仓库场景下的高效选择。

b9c0d的博客 200

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

22-学习笔记尚硅谷数仓搭建-ODS层日志表建表语句解析、数据装载及脚本装载数据

本文介绍了Hive中创建日志数据表的完整过程。首先给出了完整的建表语句,创建了一个包含复杂数据类型(struct、array)的外部表ods_log_inc,用于存储日志数据。然后详细解析了建表语句的各个部分,包括字段说明、分区设置、格式转换等关键点。接着介绍了两种数据装载方式:直接在Hive中执行SQL语句装载数据,以及编写自动化脚本实现定时数据装载。脚本支持传入日期参数,未传入时默认处理前一天的日志数据。整个流程涵盖了从表结构设计到数据加载的完整数据处理环节。

2401_87177990的博客 627

【Hive】

建立在Hadoop之上结构化、半结构化数据文件映射成一张数据库表HQL转换成MapReduce。

想当运维的程序猿 3563

Hive调优集锦

.一 .前言1.1. 概念1.2. 架构1.3. 调优概述1.1. 调优须知二 . Hive建表设计层面优化2.1. 利用分区表优化2.2. 利用分桶表优化2.3. 选择合适的文件存储格式2.4. 选择合适的压缩格式三 .HQL语法和运行参数层面优化3.1. 查看Hive执行计划3.2. 列裁剪3.3. 谓词下推3.4. 分区裁剪3.5. 合并小文件3.6. 合理设置MapTask并行度3.7. 合理设置ReduceTask并行度3.8. Join优化3.9. 启用 MapJoin3.10. Join数据

张伯毅的专栏 1332

各种压缩算法对比

Hive文件格式与压缩技术概述 本文介绍了Hadoop生态系统中常用的压缩格式和Hive文件存储格式。压缩格式方面,对比了DEFLATE、Gzip、bzip2、LZO和Snappy等算法的压缩比、速度及是否支持切分特性。文件格式部分重点分析了ORC和Parquet两种列式存储结构:ORC文件由Header、Body和Tail组成,采用Stripe分块存储;Parquet文件则包含多个Row Group和Footer,支持高效列式查询。文章还提供了各种格式的建表语法及参数配置建议,为大数据处理中的存储优化提供

lydms的博客 796

Hadoop-Hive使用笔记

## Hadoop hadf存储命令: `Hadoop fs -ls /dir` 本地数据文件插入hive表中 (注:文件要是utf-8格式的) 1.追加到表中 ```sql hive> LOAD DATA LOCAL INPATH '/home/edgeuser/pake/20210602/mm.txt' INTO table S11.ld_cust_m partition(end_dt = '20210227') --插入到指定分区 ``` 2.覆盖到表中 ```sql hive> LOA

qq_43308318的博客 2596

Hive调优方式

文章目录一、建表注意事项1、分区、分桶2、一般使用外部表,避免数据误删3、选择适当的文件储存格式及压缩格式4、命名要规范5、数据分层,表分离,但是不要分的太散二、查询优化1、分区裁剪 where过滤,先过滤,后join2、分区分桶,合并小文件3、适当的子查询4、排序方式三、Hive数据倾斜优化数据倾斜出现原因表现数据倾斜解决具体解决四、作业优化 一、建表注意事项 1、分区、分桶 一般按照业务日期进行分区,每天的数据放在一个分区里,这样可以查询每一天的数据,避免了全局扫描,提高效率 2、一般使用外部表,避免数

weixin_58078092的博客 675
上一篇: sqoop conditions原理
下一篇: hive配置文档
普通网友
博客等级 码龄6年 137粉丝 103原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值