TDH环境hive执行sql，报错OutOfMemory

优化Hive Map Aggregation内存使用：解决大表GROUP BY问题

最新推荐文章于 2024-06-18 18:04:12 发布

原创最新推荐文章于 2024-06-18 18:04:12 发布 · 483 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#spark #mapreduce

数据库专栏收录该内容

7 篇文章

订阅专栏

本文介绍了解决Apache Hive中因大表group by操作导致内存溢出的问题，提供set hive.map.aggr=false和调整hash.percentmemory参数的方法，并链接相关文章供读者参考。

近日，在项目中有一段sql执行总是报OutOfMemory

原因是sql中含有大表的group by操作，这导致了数据在map端进行了聚合，超过hash map的大小；

可通过以下参数，关闭map端的聚合，即可正常运行sql

set hive.map.aggr=false;

也可参考下面的文章，通过设置hive.map.aggr.hash.percentmemory的大小来达到这一目的

http://dev.bizo.com/2013/02/map-side-aggregations-in-apache-hive.html

https://developer.aliyun.com/article/238692

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

流觞、

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

星环TDH平台安装方法.pdf

10-12

星环TDH平台安装方法，掌握 TDH 平台的安装和配置方法，了解 TDH Manager 的使用方法

TDH添加自定义参数

虎啸千峰的博客

11-09

573

一、概述 TDH只是预定义了一些参数，如果某些参数需要用到，在预定义参数中又找不到的话，我们可以通过"添加自定义参数”的形式添加我们需要的参数。二、添加MapReduce参数 2.1 MapReduce常用调节参数在job执行过程中，如果某个task需要的内存比较大，则需要单独设置 mpreduce.map.memory.mb; mapreduce.reduce.memory.mb; mapreduce.map.java.opts; mapreduce.reduce.j...

参与评论您还未登录，请先登录后发表或查看评论

大数据问题排查系列 - TDH大数据平台中HIVE作业长时间无法执行结束

明哥的IT随笔

08-28

1857

前言大家好，我是明哥！本片博文是“大数据问题排查系列”之一，讲述某星环 TDH 大数据平台中，研发同学提交的 Hive 作业在成功提交后，客户端长时间收不到任何结果信息也收不到任何报错信息...

executeQuery、executeUpdate和execute

yancychas的博客

02-26

4172

JDBC中Statement 接口提供了三种执行 SQL 语句的方法： executeQuery executeUpdate execute 使用哪一个方法由 SQL 语句所产生的内容决定。注意：在以下用法中使用的是Statement，但是最好使用PreparedStatement，有预处理速度更快，还可以使用不定参数，如下： PreparedStatement

TDH Hive 分区抛出无权限异常

fanchw的专栏

12-17

3921

TDH Hive 分区抛出无权限异常异常日志 SQL 错误 [20388] [42000]: COMPILE FAILED: Internal error HiveAccessControlException: [Error 20388] Permission denied: Principal [name=hive, type=USER] does not have following pr...

【Hive安装】—安装Hive后执行“$HIVE_HOME/bin/hive”命令时，报错Connection refused

最新发布

sodaloveer的博客

06-18

418

安装Hive后在$HIVE_HOME路径下执行“bin/hive”命令时，显示Connection refused

【DATAX】datax读取hive分区表时，空分区任务报错问题解决

快乐星球

09-20

2056

datax读取hive表，hdfsreader读取空分区时，任务报错问题解决

精选资源

通过EXCEL生成批量建表语句（HIVE,INCEPTOR,TDH）

02-10

1.支持分桶键导入和分区键导入。 2.建表通过EXCLE自带宏编辑进行处理，可修改源代码，灵活度较高。 3.使用方式：打开EXCEL—>视图—>宏—>执行（编辑可查看源码）

SQL使用技巧(3.2)递归层次查询Hive、Orcale和TDH

LMTX069的博客

03-20

5690

递归层次查询的orcale 和 hive实现，hive实现主要依赖于支持orcale语法

大数据Hive之查询时报错Outofmemory

RunFromHere的博客

02-18

1696

文章目录1. 什么时候可能会发生这样的错误？2. 如何解决这个Outofmemory的错误呢？2.1 先分析问题，然后确定大概的解决方向：2.2 具体的解决方法如下（hive-env.sh文件）：2.2.1 增加JVM内存大小2.2.2 增加hadoop的溢出大小Hadoop_HeapSize2.2.3 在 HADOOP_OPTS 行中添加垃圾收集器3. 结果 1. 什么时候可能会发生这样的错误...

记一次hive的内存溢出(OutOfMemoryError: Java heap space)排查

冷风

12-28

2万+

刚刚从java组转岗找数据组，学习大数据的知识，开发语言也从java转到python新奇之外也遇到了诸多问题，其中最令我头疼的就是在hive上的统计任务总是三天两头地报告OutOfMemory一开始因为有别的同事的任务干扰，我以为是计算资源不够导致的，但后来把任务转移到了另一个集群后，问题仍然存在，让我百思不得其解。问题的具体描述如下：统计逻辑使用python pyhs2连接hiv

【大数据基础平台】星环TDH社区开发版单机部署

康师傅没有眼泪

10-30

3853

TDH企业级一站式大数据基础平台致力于帮助企业更全面、更便捷、更智能、更安全的加速数字化转型。通过数年时间的打磨创新，已帮助数千家行业客户利用大数据平台构建核心商业系统，加速商业创新。为了让大数据技术得到更广泛的使用与应用从而创造更高的价值，依托于TDH强大的技术底座，星环科技推出TDH社区版（Transwarp Data Hub Community Edition）版本，致力于为企业用户、高校师生、科研机构以及其他专业开发人员提供更轻量、更简单、更易用的数据分析开发环境，轻松应对各类人员数据分析需求。

如何访问TDH中Inceptor 底层的元数据库TxSQL

明哥的IT随笔

09-25

917

HIVE的元数据引擎 HMS在底层依赖一个RDBMS元数据库进行元数据的存储查询和管理，该RDBMS常用的有mysql/pg/oracle等，在实践中我们一般使用Mysql；

tdh

热门推荐

bingoabin

01-16

17万+

1 Transwarp Inceptor简介 TranswarpInceptor是星环科技推出的用于数据仓库和交互式分析的大数据平台软件，它基于Hadoop和Spark技术平台打造，加上自主开发的创新功能组件，有效的解决了企业级大数据数据处理和分析的各种技术难题，帮助企业快速的构建和推广数据业务。 TranswarpInceptor可提供完整的SQL支持，支持主流的SQL模块化扩展，兼

SQLSever 导入sql文件太大，出现 system.outofmemory错误

weixin_39033363的博客

05-10

2412

原因：用于读取数据的内存不够解决：用命令行导入的方式，使用微软自带的sqlcmd工具 cd C:\Program Files\Microsoft SQL Server\100\Tools\Binn （具体目录路径跟你安装的SQL位置有关） sqlcmd -S localhost -U username -P 123456 -d dbname -i db.sql( 参数说明：-S 服务器地址 -U 用户名 -P 密码 -d 数据库名称 -i 脚本文件路径,把脚本文件拷贝到此目录，就只用写文件名，.

[MySQL安装问题] HeidiSQL连接MySQL报错——完美解决

有梦才飞翔

07-18

3910

安装完MySQL8.0，使用HeidiSQL连接MySQL8.0数据连接失败，报错“Plugin caching_sha2_password could not be loaded”解决步骤如下：打开MySQL command line client 输入root密码的密码（安装时你自己设定的密码）进入mysql依次执行下面语句： #修改加密规则ALTER USER'root'@'lo...

TDH（Transwarp Data Hub）社区版安装教程

数据源的港湾

11-02

2万+

众所周知，星环(Transwarp)于2017年10月底正式对外公开社区版可供社区用户自行下载试用，社区版本与商业版本的主要区别如下图，下面通过实际步骤与截图介绍如何一步一步搭建TDH集群，仅供参考。关于TDH的系列组件的相关教程，可至Transwarp官网查看详细文档，https://docs.transwarp.io/5.0/ ，不过目前好像未能找到TxSQL相关的文档（可能还未完善）

Hive Insert命令

数据源的港湾

03-17

7万+

Hive 加载数据主要有两种方式，一种是用Load直接加载文件，可以是从本地文件系统，也可以是从HDFS文件系统；Load方式不做任何的转换，只是纯粹的文件复制移动，关于Load加载详情，请见我的另一篇文章： http://blog.youkuaiyun.com/post_yuan/article/details/62883565除了Load加载数据，Hive也支持Insert命令，下面就来详细介绍Hive不同