【5】hive报Invalid maximum heap size: -Xmx4096m错误解决方法

最新推荐文章于 2021-02-26 12:39:35 发布

最新推荐文章于 2021-02-26 12:39:35 发布 · 1.3k 阅读

文章标签：

#大数据 #java #开发工具

Hive 专栏收录该内容

10 篇文章

订阅专栏

部署运行你感兴趣的模型镜像

mongodb@krusiting-laptop:~/hive-0.6.0$ bin/hive

Invalid maximum heap size: -Xmx4096m

The specified size exceeds the maximum representable size.

Could not create the Java virtual machine.

解决方法：

~/hive-0.6.0/bin/ext/util$ vim execHiveCmd.sh

修改

HADOOP_HEAPSIZE=4096

为

HADOOP_HEAPSIZE=256

您可能感兴趣的与本文相关的镜像

Stable-Diffusion-3.5

图片生成

Stable-Diffusion

Stable Diffusion 3.5 (SD 3.5) 是由 Stability AI 推出的新一代文本到图像生成模型，相比 3.0 版本，它提升了图像质量、运行速度和硬件效率

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

iteye_5304

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Hadoop故障排查指南：常见错误及解决方案

2501_92132293的博客

09-06

999

HDFS核心指标块状态：Under-replicated、Over-replicated、Missing、Corrupt安全模式（Safe Mode）：NameNode启动或块损坏时的只读状态副本因子（Replication Factor）：数据块的副本数量配置块报告（Block Report）：DataNode定期向NameNode发送的块状态报告心跳（Heartbeat）：DataNode/NodeManager向主节点的存活报告（默认3秒）YARN核心指标。

gravitino0.9 安装部署集成Trino-439查询Hive3.1.3和MySQL8.0.33

青春不流名

06-30

813

111。

参与评论您还未登录，请先登录后发表或查看评论

invalid maximum heap size:-xmx4g

凌伊

09-07

1万+

最近导入一个项目发现报一下的错误： could not create the java virtual machine A fatal exception has occurred.Program willexit invalid maximum heap size:-xmx4g the specified size exceeds the maximumrepresentable s

“Invalid maximum heap size” when running Maven

weixin_33922670的博客

06-21

1504

运行mvn package,报错： Invalid maximum heap size: -Xmx512m. Error: Could not create the Java Virtual Machine. Error: A fatal exception has occurred. Program will exit. 解决方法一： alter jvm.config in .mvn ...

Hive Invalid maximum heap size: -Xmx4096m错误解决

交换一个思想，能得到俩思想

06-29

1万+

在windows下通过cygwin中搭建hadoop(0.1.8.2)和hive(0.6)的环境的时候,遇到如下错误 $ hive Could not create the Java virtual machine. Invalid maximum heap size: -Xmx4096m The specified size exceeds the maximum represent

azkaban-2.5.0 启动报错Invalid maximum heap size: -Xmx4G 解决

sinat_35403904的博客

07-02

6846

启动azkaban后报错信息为: Invalid maximum heap size: -Xmx4096m The specified size exceeds the maximum representable size. Could not create the Java virtual machine. 解决方法: 请修改文件azkaban\azkaban-web-2.5.

Invalid maximum heap size: -Xmx4096m

bestlove12345的博客

11-07

7644

Invalid maximum heap size: -Xmx4096m -Xms1024m -Xmx4096m -XX:PermSize=128m -XX:MaxPermSize=256m 改为 -Xms1024m -Xmx1024m -XX:PermSize=128m -XX:MaxPermSize=256m 能够正常运行了

-- set job name set tez.job.name=market.market_w_user_pool_feature; set hive.execution.engine=tez; set tez.queue.name=phl_dw; set paimon.hadoop-load-default-config =false; -- 20250609 增加性能调优参数-开启向量化谓词下推小表mapjoin SET hive.vectorized.execution.enabled=true; SET hive.vectorized.execution.reduce.enabled=true; SET hive.optimize.ppd=true; -- 谓词下推 SET hive.optimize.ppd.storage=true; SET hive.auto.convert.join=true; SET hive.mapjoin.smalltable.filesize=104857600; SET hive.auto.convert.join.noconditionaltask.size=251658240; --小文件合并 set hive.merge.mapfiles=true; set hive.merge.mapredfiles=true; set hive.merge.size.per.task=256000000; set hive.merge.smallfiles.avgsize=32000000; --数据倾斜 set hive.map.aggr=true; set hive.groupby.skewindata=true; set hive.optimize.skewjoin=true; set hive.skewjoin.key = 100000; --tez set tez.am.resource.memory.mb=6144; set tez.task.resource.memory.mb=10240; -- set hive.tez.java.opts=8192; set hive.tez.container.max.java.heap.fraction=0.8; set tez.task.resource.cpu.vcores=3; set tez.runtime.io.sort.mb=4096; set tez.runtime.unordered.output.buffer.size-mb=1024; set tez.runtime.skew.detect=true; set tez.runtime.skew.maxsplit=10; drop table if exists dw_tmp.tmp_market_list_pool_v2; create table dw_tmp.tmp_market_list_pool_v2 stored as orc as select m.apply_source source_name ,u.user_uuid ,u.user_phone ,p.plain_phone_md5 user_phone_md5 ,u.user_source ,u.user_channel_code ,u.user_status ,u.user_create_at as register_time from dwb_paimon.dwb_c_user as u left join dwd.dwd_w_user_risk_source_mapping_paimon as m on u.user_source=m.user_source left join privacy.privacy_c_plain_paimon as p on p.plain_user_id=u.user_id where u.user_status='ACTIVE' ; 该hive on tez报错： ERROR : Status: Failed ERROR : Vertex failed, vertexName=Map 3, vertexId=vertex_1746754059482_90650_1_01, diagnostics=[Task failed, taskId=task_1746754059482_90650_1_01_000000, diagnostics=[TaskAttempt 0 failed, info=[Container container_e08_1746754059482_90650_01_000003 finished with diagnostics set to [Container failed, exitCode=1. [2025-08-04 20:25:19.841]Exception from container-launch. Container id: container_e08_1746754059482_90650_01_000003 Exit code: 1 Exception message: Launch container failed Shell error output: Nonzero exit code=1, error message='Invalid argument number' Shell output: main : command provided 1 main : run as user is omm main : requested yarn user is deploy Getting exit code file... Creating script paths... Writing pid file... Writing to tmp file /srv/BigData/data2/nm/localdir/nmPrivate/application_1746754059482_90650/container_e08_1746754059482_90650_01_000003/container_e08_1746754059482_90650_01_000003.pid.tmp Writing to cgroup task files... Creating local dirs... Launching container... [2025-08-04 20:25:19.842]Container exited with a non-zero exit code 1. Error file: prelaunch.err. Last 4096 bytes of prelaunch.err : Last 4096 bytes of stderr : Error: Could not find or load main class 8192

最新发布

08-05

<value>-Xmx4096m</value>  <name>tez.am.resource.memory.mb <value>5120</value>  ``` #### 步骤 3：解决 Guava 版本冲突 ```...

大数据常见错误及解决方案

lv_hulk的博客

02-16

9755

大数据常见错误及解决方案（转载） 1、用./bin/spark-shell启动spark时遇到异常：java.net.BindException: Can’t assign requested address: Service ‘sparkDriver’ failed after 16 retries! 解决方法：add export SPARK_LOCAL_IP=“127.0.0.1” to spark-env.sh 2、java Kafka producer error:ERROR kafka.util

hive：beeline提交SQL报错 return code 2

啥也不会的博客

01-21

2380

1.现象 beeline连hive跑任务，报错： Error: Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask (state=08S01,code=2) 除此以外没有其他详细的错误信息。如果直接到 org.apache.hadoop.hive.ql.exec.mr.MapRedTask 这个类里，是找.

JVM启动时报错，提示 Invalid maximum heap size

m0_37488170的博客

06-24

1万+

在做项目的时候，把服务器上的项目考到本地后，启服务时一直报如下错误，看提示应该是虚拟机的堆栈设置的无效，增加或者减少jvm内存后还是报如下错误；最后从这篇文章中 https://blog.csdn.net/uu00soldier/article/details/77880625 http://blog.csdn.net/fuchaosz/article/details/51546...

启动weblogic时，报错Invalid maximum heap size: -Xmx8096m

往事彡随风

08-14

6258

本人启动weblogic时，由于文件数据庞大，所以导致 java heap 内存溢出，错误如下： Invalid maximum heap size: -Xmx Could not create the Java virtual machine. 解决方法：将startWebLogic.sh里的这一行改为 MEM_ARGS=" -Xms512m -Xmx1024m -XX:MaxPer

hive启动时报错Invalid maximum heap size: -Xmx4096m

kingtrymho的博客

11-13

2263

版本说明：hadoop0.20.0 hive0.6.0 问题描述：输入hive启动时报错 ---------------------------------------------------------------------------------------- - $ hive - Could not create the Java virtual machine.

Invalid maximum heap size: -Xmx4g错误解决

盼盼的博客

03-14

9114

今天导了个项目编译可以,但是build APK的时候报如下错误,然后百度了好多 Warning:The `android.dexOptions.incremental` property is deprecated and it has no effect on the build process. Error:Error: Could not create the Java Virtual

{--dex --num-threads=4 --multi-dex --main-dex-lis} The specified size exceeds the maximum representa

rjliulei的专栏

04-25

691

最近开发中遇到一个很蛋疼的问题，andorid studio中由于方法数超了，我启用了:defaultConfig { multiDexEnabled true }123这样由于方法过多JVM在运行的时候由于heap限制，编译的特变慢，一直处在 Gradle run building 中，有时候甚至编译一次要十几分钟，调bug的时候简直头疼，找了下解决方法，需要设置一个heap属性增加he...

Android Invalid maximum heap size: -Xmx 解决方法

热门推荐

梧桐那时雨

05-31

1万+

最近遇到一个bug，由于项目较大，超过了65535限制，因此要使用multiDexEnabled,build.gradle文件如下：dexOptions { javaMaxHeapSize "4g" } defaultConfig { applicationId "cn.mljia.shop" minSdkVersion 11 targ

java xmx4096m,如何在JVM选项中覆盖-Xmx50m？

weixin_39848998的博客

02-26

673

I was using a tool. The JVM option is configurable.Recently, I get a OutOfMemoryError so I add -Xmx1024m in the option configuration as below.The config.properties:JVM_OPTION="-Xmx4096m -XX:-UseGCOver...

java xmx4096m_为什么设置了heap最大内存为4096之后，只用了2048就内存溢出

weixin_30461129的博客

02-26

1964

数据库有六十万数据，要进行批量更新执行程序报错java.lang.OutOfMemoryError: Java heap spaceidea内存已改-Xms1024m-Xmx4096m-XX:ReservedCodeCacheSize=1024m设置了heap最大内存为4096之后使用visualVM查看内存发现只用了2048就溢出了，，为啥没到4096呢。代码如下@Testpublicvoid...

JVM最大堆内存

郑斯达的博客

10-19

2093

今天在启动服务的时候，发现服务启动失败，看了下启动日志，发现报jvm堆内存不足。仔细看了下启动参数，Xmx设置的是4096 Could not create the Java virtual machine. Invalid maximum heap size: -Xmx4096m The specified size exceeds the maximum representable size. 第一反应就是系统内存不足。打开任务管理器查看，发现8G的内存只用了不到3G，不应该会出现问题。打开cm

我查了hive配置，HIVE_GC_OPTS=-Xms4096M -Xmx4096M -XX:NewSize=512M -XX:MaxNewSize=512M -DIgnoreReplayReqDetect -XX:CMSFullGCsBeforeCompaction=1 -XX:+UseConcMarkSweepGC -XX:+CMSParallelRemarkEnabled -XX:+UseCMSCompactAtFullCollection -XX:-UseSplitVerifier -XX:+ExplicitGCInvokesConcurrent -XX:+PrintGCDetails -XX:+PrintGCDateStamps -XX:+UseGCLogFileRotation -XX:NumberOfGCLogFiles=15 -XX:GCLogFileSize=20M -server -XX:MetaspaceSize=128M -XX:MaxMetaspaceSize=256M -XX:ErrorFile=${HIVESERVER_LOG_DIR}/hs_err_pid_%p.log -Dnet.sf.ehcache.skipUpdateCheck=true -Djava.io.tmpdir=${BIGDATA_HOME}/tmp 是不是默认堆大小是4GB

08-05

用户询问：当`HIVE_GC_OPTS`设置为`-Xms4096M -Xmx4096M`时，是否表示JVM堆内存默认是4GB？根据引用[1]中的说明： - `-Xms`指定JVM初始分配的堆内存。 - `-Xmx`指定JVM最大分配的堆内存。因此，当设置`-Xms4096M...