hive学习笔记-性能优化

最新推荐文章于 2024-07-30 09:01:39 发布
原创 最新推荐文章于 2024-07-30 09:01:39 发布 · 887 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hive #性能优化 #多线程

本文介绍了如何通过设置Hive的多线程来提升性能，特别是针对大表与小表关联的问题进行优化。通过使用MapJoin提示，可以将小表加载到内存中，避免null结果。同时，调整大表和小表的关联顺序也能影响查询效率。

1.设置hive多线程 

set hive.exec.parallel=true;
set hive.exec.parallel.thread.number=8; 
 
线程数默认为8，设置线程数优点是多进程同时跑，速度会快很多，缺点是会增加map(map 并不是越多越好），设置进程数大小要适当；

2.设置map数，reduce数
  map的文件块目前一个文件块是128M，根据文件的大小可以自己设置一下map的数量
最低0.47元/天 解锁文章
Hive学习笔记 --- 文件存储格式梳理汇总
杨鑫newlife的专栏
03-17 483
Hive支持的文件存储格式如下： Text File SequenceFile RCFile Avro Files ORC Files Parquet Custom INPUTFORMAT and OUTPUTFORMAT 其中hive.default.fileformat 配置参数确定在CREATE TABLE 或...
Hive学习笔记 --- Hive架构原理 与 执行流程 与 工作原理
杨鑫newlife的专栏
03-13 695
一、简述： HIve数据仓库可以使用类SQL（HQL）查询读取、写入和管理存储在分布式中的大型数据集。 Hive建立在Hadoop之上，提供以下功能： 通过SQL轻松访问数据的工具，从而实现数据仓库的任务，例如提取/转换/加载（ETL），报告和数据分析； 一种将强结构用于各种数据格式的机制； 可以直接访问存储在HDFS或者和其他存储系统（HBase）中的文件； ...
hive 参数设置大全
独木不成林，单弦不成音。
12-29 1万+
合理设置参数，让集群飞起来~
优化实战篇—UDAF批量和多线程并发调用外部请求(02)
热门推荐
06-05 5万+
UDAF 使用批量请求 UDAF 使用多线程并发
Python多线程调用Hive接口的MapReduce示例
BabyFish13
01-03 1642
1、单线程Hive调用 /Users/nisj/PycharmProjects/EsDataProc/bi-static/hive-user_appsource_detail.py # -*- coding=utf-8 -*- import warnings import datetime import time import os warnings.filterwarnings("igno
Hive设置并行参数
BabyFish13
11-19 6453
hive里，同一sql里，会涉及到n个job，默认情况下，每个job是顺序执行的。 如果每个job没有前后依赖关系，可以并发执行的话，可以通过设置该参数 set hive.exec.parallel=true，实现job并发执行，该参数默认可以并发执行的job数为8。可以通过hive.exec.parallel.thread.number来设置并发执行的job数。 set hive.exec...
hive 配置参数说明
chaoping315的专栏
01-14 4万+
hive.exec.mode.local.auto 决定 Hive 是否应该自动地根据输入文件大小，在本地运行（在GateWay运行） true hive.exec.mode.local.auto.inputbytes.max 如果 hive.exec.mode.local.auto 为 true，当输入文件大小小于此阈值时可以自动在本地模式运行，默
apache-hive-1.2.1-bin.tar.gz.zip
05-11
"Mr.zhou_Zxy.txt" 文件可能是个人笔记或教程，可能包含了用户 Zhou Zxy 在学习和使用 Hive 过程中的经验和技巧，包括如何配置 Hive，编写 HQL 示例，或者解决遇到的问题。 在大数据处理场景中，Hive 主要应用于...
hive学习笔记精华版
10-08
【Hive学习笔记精华版】 Hive是大数据处理领域中的一款重要工具，它基于Hadoop构建，主要用于数据仓库和数据分析。作为一个离线处理系统，Hive可以将结构化的数据文件映射成数据库表，允许用户使用类似SQL的查询...
linux多线程入库hive,hiveserver2 定时挂采坑记
weixin_39613561的博客
05-13 269
0 问题描述集群的 3 台 hiveserver 非常有规律 (每隔 4-5 天)相继下线，无法提供服务，日志里面大量报错，报错里面的一个关键信息如下：logs/hiveserver2.log.2019-04-09:2019-04-09 17:53:42,526 ERROR [HiveServer2-Handler-Pool: Thread-741270]: util.Shell (Shell.j...
Hive 常用参数整理
BITDDD小栈
11-17 4955
一.引言 上周遇到了大表join大表的情况，调试了一天终于调通，期间发现对hive设置参数十分不熟悉才会导致调优花了一天时间，特此整理常用参数供以后参考。 二.场景 1.Hive 动态分区 set hive.exec.dynamic.partition.mode=nonstrict; 动态分区的好处是可以根据表字段自动将数据加入到指定分区，相比于写死固定分区更加便捷。以下实例基于your_table是单分区表。 原始分区示例: hive -e " insert overwrite tab.
Hive调优：让任务并行执行（hive.exec.parallel）
汐 朔
08-05 1万+
目录业务背景优化策略方案一方案二 业务背景 extract_trfc_page_kpi的hive sql如下： set mapred.job.queue.name=pms; set hive.exec.reducers.max=8; set mapred.reduce.tasks=8; set mapred.job.name=extract_trfc_page_kpi; insert overw...
Hive并行模式详解
最新发布
My_wife_QBL的博客
07-30 1566
Hive的并行模式指的是在执行查询时，将任务分解为多个子任务，利用Hadoop的分布式计算能力同时执行这些子任务。并行处理不仅提高了数据处理的速度，还增强了系统的吞吐量，能够在短时间内处理更大规模的数据集。所有的子任务执行完成后，Hive会将各个任务的结果汇总，生成最终的查询结果，返回给用户。Hive的并行模式是其核心特性之一，能够有效提高数据处理的效率和系统的吞吐量。通过合理配置并行处理参数、优化查询设计、监控和调优，用户能够充分发挥Hive的并行能力，满足大数据分析的需求。
hive调优参数备选
hanxiucao_yes的博客
02-08 387
作业map数量多可以提高每个map处理文件大小，默认是128M。
Hive优化--并行执行
tianqinglei的博客
08-22 1711
[并行执行] 只要job间不存在依赖关系。 SET hive.exec.parallel=true; //默认false //最多允许多少job并行执行 SET hive.exec.parallel.thread.number=16; //默认8
hive相关参数设置
XiaoQiong.Zhang的博客
07-26 195
队列设置 set mapreduce.job.queuename=quename;开启动态分区 set hive.exec.dynamic.partition=true; set hive.exec.dynamic.partition.mode=nonstrict;压缩设置 set mapred.compress.map.output=true; set hive.exec.compress.output=true; set mapred.output.compress=true; set mapred.o
hive常用参数优化及说明
weixin_43451620的博客
09-16 628
hive常用参数优化及说明 一、常用参数优化 开启任务并行执行 set hive.exec.parallel=true; 同一个sql允许并行任务的最大线程数 set hive.exec.parallel.thread.number=8; 若读取小文件较多，则设置在map端进行小文件合并参数 set hive.input.format = org.apache.hadoop.hive.ql.io.CombineHiveInputFormat; set hive.hadoop.supports.s
hive优化，并行查询
weixin_30407613的博客
08-27 1070
1、hive中控制并行执行的参数有如下几个： $ bin/hive -e set | grep parall hive.exec.parallel=false hive.exec.parallel.thread.number=8 hive.stats.map.parallelism=1 其中：hive.exec.parallel=false、hive.exec.parallel.thre...
hiveSQL参数调优
qq_16805961的博客
11-08 589
mapJoin的主要意思就是，当链接的两个表是一个比较小的表和一个特别大的表的时候，我们把比较小的table直接放到内存中去，然后再对比较大的表格进行map操作。join就发生在map操作的时候，每当扫描一个大的table中的数据，就要去去查看小表的数据，哪条与之相符，继而进行连接。改 hive.tez.container.size 的值之后，一定要改参数 hive.tez.java.opts，hive.tez.java.opts设置JVM 启动参数，最重要的是 -Xmx 设置JVM 最大堆内存。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值