Hive篇---Hive使用优化

hive使用小结 hive各版本主要特征 Hive 各版本关键新特性(Key New Feature)介绍 官网下载页面的介绍 hive基础 命令行接口 hive提供的用户接口包括:CLI、Client、WebUI几种方式,我们平常主要使用CLI方式,未来集群升级之后可能会有提供可视化的界面允许我们直接从WebUi访问。 早期的hive版本主要使用HIVE CLI(old),之后发展为使 阅读详情

========================================================

声明:由于不同平台源码阅读格式不一致,所以获取更多阅读体验!!

请关注本人博客园地址:http://www.cnblogs.com/LHWorldBlog/p/8299470.html

个人网站地址:http://www.lhworldblog.com/2018/01/18/hive

==================================================================


一.前述

本节主要描述Hive的优化使用,Hive的优化着重强调一个 把Hive SQL 当做Mapreduce程序去优化

二.主要优化点

1.Hive运行方式:
本地模式
集群模式

本地模式
开启本地模式:
set hive.exec.mode.local.auto=true;
注意:
hive.exec.mode.local.auto.inputbytes.max默认值为128M
表示加载文件的最大值,若大于该配置仍会以集群方式来运行! 对于小表可以直接从从hdfs直接拿到本地计算

2.并行计算
通过设置以下参数开启并行模式:
set hive.exec.parallel=true;

注意:hive.exec.parallel.thread.number
(一次SQL计算中允许并行执行的job个数的最大值)


3.严格模式
通过设置以下参数开启严格模式:
set hive.mapred.mode=strict;
(默认为:nonstrict非严格模式)

查询限制:
对于分区表,必须添加where对于分区字段的条件过滤;
order by语句必须包含limit输出限制;
限制执行笛卡尔积的查询。


4.Hive排序(重要)
Order By - 对于查询结果做全排序,只允许有一个reduce处理
(当数据量较大时,应慎用。严格模式下,必须结合limit来使用)
Sort By - 对于单个reduce的数据进行排序(这样最后的数据有可能排序结果不准!!!!)
Distribute By - 分区排序,经常和Sort By结合使用(SortBy对于最后的分区排序)
Cluster By - 相当于 Sort By + Distribute By
(Cluster By不能通过asc、desc的方式指定排序规则;
可通过 distribute by column sort by column asc|desc 的方式) !!!

5 Hive Join 优化

Join计算时,将小表(驱动表)放在join的左边
Map Join:在Map端完成Join
两种实现方式:
1、SQL方式,在SQL语句中添加MapJoin标记(mapjoin hint)
语法:
SELECT  /*+ MAPJOIN(smallTable) */  smallTable.key,  bigTable.value
FROM  smallTable  JOIN  bigTable  ON  smallTable.key  =  bigTable.key;
2、开启自动的MapJoin

自动的mapjoin
通过修改以下配置启用自动的mapjoin:
set hive.auto.convert.join = true;
(该参数为true时,Hive自动对左边的表统计量,如果是小表就加入内存,即对小表使用Map join)(默认左边的加载到内存中去)

相关配置参数:
hive.mapjoin.smalltable.filesize;  
(大表小表判断的阈值,如果表的大小小于该值则会被加载到内存中运行)
hive.ignore.mapjoin.hint;
(默认值:true;是否忽略mapjoin hint 即mapjoin标记)
hive.auto.convert.join.noconditionaltask;
(默认值:true;将普通的join转化为普通的mapjoin时,是否将多个mapjoin转化为一个mapjoin)
hive.auto.convert.join.noconditionaltask.size;
(将多个mapjoin转化为一个mapjoin时,其表的最大值)

6.Map-Side聚合(一般在聚合函数sum,count时使用)
通过设置以下参数开启在Map端的聚合:
set hive.map.aggr=true;

相关配置参数:
hive.groupby.mapaggr.checkinterval:
map端group by执行聚合时处理的多少行数据(默认:100000)
hive.map.aggr.hash.min.reduction:
进行聚合的最小比例(预先对100000条数据做聚合,若聚合之后的数据量/100000的值大于该配置0.5,则不会聚合)
hive.map.aggr.hash.percentmemory:
map端聚合使用的内存的最大值
hive.map.aggr.hash.force.flush.memory.threshold:
map端做聚合操作是hash表的最大可用内容,大于该值则会触发flush
hive.groupby.skewindata
是否对GroupBy产生的数据倾斜做优化,默认为false(自动优化解决思路如下):
Map端两个MapReduce,第一个Mapreduce随机来分发数据。
然后另一个Mapreduce根据此Mapreduce的结果在到Reduce的机器上去拉取数据。

 

7.控制Hive中Map以及Reduce的数量
Map数量相关的参数
mapred.max.split.size
一个split的最大值,即每个map处理文件的最大值
mapred.min.split.size.per.node
一个节点上split的最小值
mapred.min.split.size.per.rack
一个机架上split的最小值

Reduce数量相关的参数
mapred.reduce.tasks
强制指定reduce任务的数量
hive.exec.reducers.bytes.per.reducer
每个reduce任务处理的数据量
hive.exec.reducers.max
每个任务最大的reduce数

PS:一般工作中肯定不会改!!!桶的个数是Reduce的个数。

 

 

8. Hive - JVM重用(类似于线程池)
适用场景:
1、小文件个数过多
2、task个数过多

通过 set mapred.job.reuse.jvm.num.tasks=n; 来设置
(n为task插槽个数)

缺点:设置开启之后,task插槽会一直占用资源,不论是否有task运行,直到所有的task即整个job全部执行完成时,才会释放所有的task插槽资源!

C和指针之反转字符串 1、问题 把参数字符串中字符反向排序,请使用指针而不是数组下标,不要使用任何C函数库中 2、实现 #include #include /** * *函数把参数字符串中字符反向排序,请使用指针而不是数组下标,不要使用任何C函数库中 *用于操作字符串的函数. */ void reverse_string(char *string) { if (string == 阅读详情

相关推荐

【大数据Hive】hive 优化策略之job任务优化

hive job优化策略

congge_study的博客 9521

hive split 函数

hive字符串分割函数 split(str, regex) - Splits str around occurances that match regex Time taken: 0.769 seconds, Fetched: 1 row(s) 返回值为一个数组 a.基本用法: 例1: split(‘a,b,c,d’,’,’) 得到的结果: [“a”,“b”,“c”,“d”] b.截取字符串中的某个值: 当然,我们也可以指定取结果数组中的某一项 例2: split(‘a,b,c,d’,’,’)[0] 得到的

qq_37627820的博客 2万+

告别手动改代码!用SSC工具5分钟搞定EtherCAT从站动态模块配置(含Excel模板)

本文详细介绍了如何利用SSC工具和Excel模板实现EtherCAT从站动态模块配置的自动化流程。通过零代码修改的动态配置方案,大幅提升工业自动化产线的灵活性和效率,配置时间从平均4小时缩短至8分钟,错误率下降96%。文章包含Excel模板设计、实战演示和避坑指南,助力工程师快速掌握这一高效工具。

weixin_28339967的博客 574

【Hive】split函数(分割字符串)

语法: split(string str, string pat) 返回值: array 说明: 按照pat字符串分割str,会返回分割后的字符串数组 举例: 1.基本用法 hive> select split('abcdef', 'c') from test; ["ab", "def"] 2.截取字符串中的某个值 hive> select split('ab...

喜东东的博客 15万+

人形机器人人机交互解决方案(2026完整版)

《人形机器人人机交互解决方案(2026完整版)》摘要 本项目针对2026年人形机器人产业爆发式增长需求,提出了一套完整的人机交互解决方案。方案包含十大核心模块(语音识别、情感识别、手势识别等),采用五层架构设计,实现多模态融合交互,响应时间≤32ms,准确率≥99%。覆盖制造业巡检、家庭服务等10大场景,适配20+主流机型。项目总投资4.1亿元,预期年营收8.2亿元,将申请专利120项,培养专业人才300人。通过技术创新解决当前交互体验生硬、安全可控性不足等痛点,助力我国人形机器人产业实现从"跟跑

随读手记 777

C#面试题及详细答案120道(01-10)-- 基础语法与数据类型

C#与.NET部分重点解析了7个核心问题:1)C#与.NET的依存关系;2)值类型与引用类型的内存差异;3)装箱拆箱的性能损耗;4)string/String与int/Int32的实质等价性;5)const与readonly的初始化区别;6)可空类型的应用场景;7)ref与out关键字的参数传递机制。内容包含原理对比、代码示例和优化建议,适合开发者系统掌握C#核心概念。(1

大剑师兰特的GIS世界 1969

Hive:split函数

语法 split(string str, string pat) 说明 按照pat字符串分割str,会返回分割后的字符串数组 举例 1.基本使用 select split('zhongguo', 'n') from test; 结果:[“zho”, “gguo”] 2.截取字符串中的某个值 select split('zhongguo', 'n')[0] from test; 结果:zho 3...

数据分析阿宇君的博客 6203

路由三大分类:直连路由、静态路由、动态路由

直连路由、静态路由和动态路由各有其独特的特点和适用场景。直连路由适用于简单的直接连接网络,静态路由提供了精确的路径控制,而动态路由则在大型复杂网络中展现出强大的适应性和自动化能力。了解和掌握这三种路由类型的配置和管理,对于网络管理员来说,是确保网络高效、安全运行的重要技能。

网络技术联盟站 4702

hive中split函数相关总结

split 函数一直再用,居然发现没有总结,遂补充一下;

weixin_43597208的博客 3185

uniapp - 实现苹果App打包上架App Store应用商店详细教程,详解Hbuilder打包编译ipa发布上传到苹果ios软件商店全流程,提供云打包/离线本地打包ios、申请IOS苹果证书方法

uni-app,苹果ios,苹果app,打包编译,appstore应用商店,ipa发布到软件商店,uniapp的app苹果应用商店上架,上架苹果APPStore,uniApp打包的ipa文件上传到商店,上架苹果商城,审核失败,被拒绝,UniApp打包ipa文件,上架iOSAppStore流程指南,最新详细教程最全,Hbuilder打包发布iosapp,苹果云打包上线全过程,云打包IPA并上传到商店,打包iOSipa文件后怎么发布到应用商店,苹果证书申请教程,ios证书申请,mac电脑,审核很久

🏆 前端领域优质创作者 1万+

AMD KFD的SDMA Packet 类型和定义解析

本文详细分析了AMD GPU架构中的SDMA(System Direct Memory Access)数据传输机制,重点介绍了其核心数据结构——SDMA Packet。SDMA通过8种主要Packet类型(包括内存拷贝、数据写入、屏障同步、中断触发等)实现高效主机-设备通信。每种Packet采用位域结构和联合体封装设计,在保证功能完整性的同时实现空间优化。这些Packet支持丰富的访问属性和扩展字段,适用于高性能数据搬运、内存初始化、任务同步、性能分析等场景,为GPU计算提供了灵活高效的数据传输解决方案。

图形/计算GPU的驱动与虚拟化技术分享园地 1257

大数据开发之Hive优化篇-使用ORC文件格式优化Hive

ORC (Optimized Row Columnar)文件格式为Hive数据提供了一种高效的存储方式。它的设计是为了克服其他Hive文件格式的限制。使用ORC文件可以提高Hive读写和处理数据时的性能。单个文件作为每个任务的输出,这减少了NameNode的负载Hive类型支持包括datetime、decimal和复杂类型(struct、list、map和union)存储在文件中的轻量级索引:1) 跳过没有通过谓词筛选的行组2) 查找给定的行基于数据类型的块模式压缩。

xinghaoyan的专栏 809

YOLOv8改进 | 融合篇,YOLOv8主干改进融合网络之MobileNetV3+CA注意机制,助力涨点

MobileNetV3通过结合硬件感知网络架构搜索(NAS)和NetAdapt算法,通过新颖的架构改进进一步提升了性能。YOLOv8中的主干网络替换成MobileNetV3+引入CA注意机制

在职AI算法工程师,擅长计算机视觉,YOLO目标检测、分割等,擅长web、pyqt界面可视化,好内容持续更新中,来这里跟大家一起学习,共同进步 1886

大数据开发之Hive优化篇5-使用ORC文件格式优化Hive

备注: Hive 版本 2.1.1 文章目录一.ORC文件格式概述二.测试ORC性能2.1 查看两个表存储空间的大小2.2 测试查询性能三.ORC相关参数参考 如果使用Hive作为大数据仓库,强烈建议主要使用ORC文件格式作为表的存储格式 一.ORC文件格式概述 ORC (Optimized Row Columnar)文件格式为Hive数据提供了一种高效的存储方式。它的设计是为了克服其他Hive文件格式的限制。使用ORC文件可以提高Hive读写和处理数据时的性能。 例如,与RCFile格式相比,ORC文件格

只是甲的博客 3343

冲压机器人系列编程:ABB IRB 6700_(6).RAPID编程语言入门

主菜单:包含文件、编辑、视图、工具等常用操作。项目浏览器:显示当前项目的文件结构,包括机器人模型、程序模块等。图形界面:用于创建和编辑机器人的虚拟环境。RAPID代码编辑器:用于编写和编辑RAPID代码。仿真控制面板:用于控制仿真过程,包括启动、暂停、停止等。变量是存储数据的容器,可以通过变量名访问和修改其存储的数据。变量定义时需要指定其类型和名称。% 定义一个整数变量并赋初值% 定义一个实数变量,未赋初值函数定义时需要指定其返回类型和参数。num result;子程序类似于函数,但不返回值。

zhubeibei168的博客 1380

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

hive遗留问题

hive和mysql有什么不同 1.不支持下列from a,b where用法 SQL中对两表内联可以写成:select * from dual a,dual b where a.key = b.key; Hive中应为:select * from dual a join dual b on a.key = b.key 2.不能智能识别concat(‘;’,key),只会将‘;’当做SQL结...

kylin_learn的博客 612

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

Hive基础实战

文章目录1.数据库查看篇2.表定义操作篇2.1表属性查看2.2表定义create2.3表插入insert2.3表查询 select3.关键字3.1 limit3.2 with4.函数使用篇5.性能优化5.1 表关联5.2 查询优化 1.数据库查看篇 查看数据库 show databases; 切换数据库 use databases_name; 查看当前数据库 select current_dat...

bingchenwurao的博客 322

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

【hive】记录一下工作中用到的hive命令

前置命令 初始化元数据信息 schematool -dbType mysql -initSchema 启动hive和hivesever2 nohup hive --service metastore 1>/mnt/metastore.log 2>&1 & nohup hive --service hiveserver2 1>/mnt/hiveserver2.log 2>&1 & 一、连接hive beeline连接没有权限的hive

Mrerlou的博客 851

hive个人使用 持续更新

1、连续n天 例如连续12登陆,先日期进行从小到大进行排序,再rank ,然后日期减去rank的序号,有多少个相同的连续值就是连续多少天 2、数据只有本月和本月数添加第三列是之前12个月的数总和 (sum(ct2.CREATE_PROJECT_CURRENT_MONTH_CNT) over(ORDER BY ct2.CURRENT_MONTH_ID ASC ROWS BETWEEN 12 pr...

qq_34897849的博客 464

hive操作

CREATE TEMPORARY 临时表 查询表结构 show table extended like ‘pdw_j03_ld_pkg_dim_columnset’ 1.hive模糊搜索表 show tables like ‘name’; 2.查看表结构信息 desc table_name; desc table_name; 3.查看分区信息 show partitions pdw_j03_ld_pkg_a062; 4.根据分区查询数据 select table_coulm from table_name

anqi3776的博客 409

flink读取hive数据写入mysql_flink 读取hive的数据

flink1.8 对hive 的支持不够好,造成300W的数据,居然读了2个小时,打算将程序迁移至spark。 先把代码贴上mavenorg.apache.hivehive-jdbc1.1.0org.apache.hadoophadoop-common3.1.2jdk.toolsjdk.tools1.8system${JAVA_HOME}/lib/tools.jarjavaprivate fina...

weixin_39545805的博客 1167

Hive总结篇及Hive的优化

概述 Hive学习也有一段时间了,今天来对Hive进行一个总结,也是对自己的总结,作者还是个小白,有不对的地方请大家指出相互学习,共同进步。今天来谈一谈什么是Hive,产生背景,优势等一系列问题。 什么是Hive 老规矩:官网地址 Hive wiki. 先来谈谈自己的理解: 有些人可能会说Hive不就是写SQL的吗,那我们其实可以从另一个角度来理解:Hive很强大,只要写SQL就能解...

4万+

Hive-优化(语法优化篇)

在生产环境中,会面临列很多或者数据量很大时,如果使用select * 或者不指定分区进行全列或者全表扫描时效率很低。Hive在读取数据时,可以只读取查询中所需要的列,忽视其他的列,这样做可以节省读取开销(中间表存储开销和数据整合开销)1.列裁剪:在查询时只读取需要的列。避免select *2.分区裁剪:在查询中只读取需要的分区。遵循一个原则:尽量少的读入数据,尽早地数据收敛!

小枫的博客 2025
上一篇: Hbase篇--Hbase和MapReduce结合Api
下一篇: Flume篇---Flume安装配置与相关使用
L先生AI课堂
L先生AI课堂 领域专家: 大数据技术领域 领域专家: 大数据技术领域
博客等级 码龄9年 678粉丝 216原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

L先生AI课堂

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值