hadoop的java.opts设置有误导致job setup失败

最新推荐文章于 2024-02-17 21:05:10 发布
原创 最新推荐文章于 2024-02-17 21:05:10 发布 · 166 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop #java

本文记录了一次Hadoop集群中Job频繁Setup失败的问题排查过程。通过调整mapred.child.java.opts参数，逐步精简垃圾回收相关选项，最终解决了作业运行失败的问题。
由于各台机器配置不同，想单独设置每个节点的mapred.child.java.opts参数，开始设置为 
<property>
<name>mapred.child.java.opts</name>
<value>-Xms512m -Xmx512m -XX:+UseConcMarkSweepGC -XX:+UseCMSCompactAtFullCollection -XX:+CMSClassUnloadingEnabled -XX:CMSInitiatingOccupancyFraction=80 -XX:PretenureSizeThreshold</value>
</property>


节点重启无误，但发现提交的job每次都setup fail，只有一一排查，最后精简为 
<property>
<name>mapred.child.java.opts</name>
<value>-Xms512m -Xmx512m -XX:+UseConcMarkSweepGC</value>
</property>

job才正确运行，估计有些参数不支持所致。
hadoop 2.9.0 mapred-default.xml 属性集
06-02
31. mapred.child.java.opts 设置子进程的JVM参数，例如堆大小。 32. mapred.child.env 设置子进程的环境变量。 33. mapreduce.admin.user.env 定义管理员用户的环境。 34. yarn.app.mapreduce.am.log.level 定义...
hadoop快速入门
03-20
hadoop快速入门，hadoop安装及hadoop配置
java opts环境你变_hadoop内存环境变量
weixin_39568232的博客
02-16 701
hadoop内存的配置，涉及到两个方面:namenode/datanode/resourcemanager/nodemanager的HEAPSIZE环境变量在配置文件/Configuration中影响MR运行的变量HEAPSIZE环境变量hadoop-env.sh此配置文件 hdfs和yarn脚本都会加载。hdfs是使用HADOOP_HEAPSIZE，而yarn使用新的环境变量YARN_HEAPS...
Hadoop搭建
qq_42578967的博客
05-06 199
Hadoop搭建 1.jdk安装 在/opt下创建 softwares和servers 一个用来存放压缩包 一个用来存放 解压后的文件 yum -y install lrzsz 从windows上传文件到linux系统的工具 把jdk的压缩包拖进softwares 解压到servers 改名 jdk-1.8 vim /etc/profile 添加 `export JAVA_HOME=/opt/servers/jdk-1.8` `export PATH=$PATH:$JAVA_HOME/bin` sou
Hadoop配置说明
余亚军的博客
07-24 715
Hadoop有两类配置文件，默认的default-site.xml和可以修改的site.xml，除此之外，还可以通过env.sh设置参数，同时env.sh也用于配置一些环境变量。
Hadoop基础之---配置
数据时代--收集，存储，处理，分析，挖掘，检索，展现
08-21 1602
Hadoop基础之---配置 话说Hadoop的配置文件是相当多的，这里列出一些注意的，常用的。 为什么要这么多配置，，配置就是为了方便配置，废话。因为很多时候代码里面写了很多Magic Number或者固定的路径或者固定的策略，而不同的环境，不同的需求可能会与默认的不同，所以需要修改，就放到配置文件里面，这样就可以随心所欲的设置了，而不用重新修改代码编译。 1.hadoop-env
HDFS核心参数配置
zhongmingyu
03-13 921
Hadoop里面NameNode和DataNode是动态分配的（hadoop3.x），并且都是984M。，如果服务器内存4G，NameNode内存可以配置3g。开启回收站功能，可以将删除的文件在不超时的情况下，恢复原数据，起到防止误删除、备份等作用。回收站目录在HDFS集群中的路径：/user/mingyu/.Trash/…企业经验：dfs.namenode.handler.count=修改core-site.xml，配置垃圾回收时间为60分钟。）注意：通过网页上直接删除的文件也不会走回收站。
【Hadoop】【Hadoop集群设置】【Hadoop Cluster Setup】
wq6qeg88的博客
02-17 843
NodeManager能够定期检查本地磁盘的健康状况（特别是检查nodemanager-local-dirs和nodemanager-log-dirs），并且在达到基于配置属性yarn.nodemanager.disk-health-checker. min-health-disks设置的坏目录数量阈值后，整个节点被标记为不健康，并且此信息也被发送到资源管理器。但是，NodeManager会继续运行该脚本，因此，如果节点再次变得健康，它将自动从ResourceManager上的黑名单节点中删除。
Flink Configuration简介
热门推荐
lmalds的专栏
12-19 1万+
Flink configuration
package myPageRank; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Mapper; import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Reducer; import java.io.IOException; import java.util.ArrayList; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapred.lib.ChainMapper; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; /** * @author tulie * @ceerte $(YEAR)-$(MONTH)-$(DAY)-$(TIME) */ /** * @author tulie * @ceerte $(YEAR)-$(MONTH)-$(DAY)-$(TIME) */ public class PRMapper extends Mapper<Object, Text, IntWritable, Text> { private IntWritable id; private String pr; private int count; private float average_pr; //重写map方法 public void map(Object key, Text value, Context context) { //构造一个用来解析 str 的 StringTokenizer 对象。java 默认的分隔符是空格("")、制表符(\t)、换行符(\n)、回车符(\r)。 StringTokenizer str = new StringTokenizer(value.toString()); //|1 6 2 4 5 if(str.hasMoreTokens())//返回是否还有分隔符 { id = new IntWritable(Integer.parseInt(str.nextToken()));//1 |6 2 4 5 }else{ return; } pr = str.nextToken();//返回从当前位置到下一个分隔符的字符串 1 6 |2 4 5 count = str.countTokens();//3 average_pr = Float.parseFloat(pr)/count; while(str.hasMoreTokens()) { try{ String nextId = str.nextToken();//1 6 2| 4 5 IntWritable linid = new IntWritable(Integer.parseInt(nextId)); //将网页向外链接的ID以“pr+得到贡献值”格式输出 Text avpr = new Text("pr" + average_pr); context.write(linid, avpr); // 将网页ID和PR值输出 Text ids = new Text("id" + nextId); context.write(id, ids); }catch(IOException e) { e.printStackTrace(); }catch (InterruptedException e) { e.printStackTrace(); } } } } /** * @author tulie * @ceerte $(YEAR)-$(MONTH)-$(DAY)-$(TIME) */ public class PRReducer extends Reducer<IntWritable, Text, IntWritable, Text> { //重写reduce方法 public void reduce(IntWritable key, Iterable<Text> values, Context context) { // 定义一个存储网页链接ID的队列 ArrayList<String> ids = new ArrayList<String>(); // 将所有的链接ID以String格式保存 String strid = " "; // 定义一个保存网页PR值的变量 float pr = 0; //遍历 System.out.println(key.get()); for(Text txt : values) { String str = txt.toString(); //判断value是贡献值还是向外部的链接 if (str.startsWith("pr")) { // 贡献值 pr += Float.parseFloat(str.substring(2)); System.out.println(pr); } else if (str.startsWith("id")) { // 链接id String id = str.substring(2); ids.add(id); } } pr = 0.85f*pr + 0.15f; // 得到所有链接ID的String形式 for (int i = 0; i < ids.size(); i++) { strid += ids.get(i) + " "; } // 组合pr+lianjie成原文件的格式类型 String strpr = String.format("%.5f", pr); String result = strpr + strid; try { context.write(key, new Text(result)); } catch (IOException e) { e.printStackTrace(); } catch (InterruptedException e) { e.printStackTrace(); } } } （为我修改错误给出完整代码）
最新发布
10-22
conf.set("mapreduce.reduce.java.opts", "-Xmx1536m"); // 从命令行获取总节点数参数 conf.setLong("totalNodes", Long.parseLong(args[2])); Job job = Job.getInstance(conf, "PageRank"); job....
Hadoop学习-06-生产环境参数\调优
Ty的博客
05-17 976
HDFS核心参数建议配置 NameNode 内存 Hadoop2.x: NameNode 内存默认2000m，如果服务器内存4G，NameNode内存可以配置3g。在hadoop-env.sh 文件中配置如下。 HADOOP_NAMENODE_OPTS=-Xmx3072m Hadoop3.x hadoop-env.sh 中描述 Hadoop 的内存是动态分配的 建议配置: NameNode最小值为1G,每增加1000000个Block增加1G内存 DataNode最小值为4G,每增加100
Hadoop 任务重要参数整理
半日闲的博客
06-14 2054
后台服务进程信息查看 conf jmx logs logLevel stacks 调试信息 set hive.execution.engine=mr; set yarn.nodemanager.delete.debug-delay-sec=1200; 日志保留时间，单位：秒 set mapreduce.task.timeout=60000000; 在debug的时候，c...
五、Hadoop高可用部署
ynzzxc的博客
03-29 1598
（1）下载安装包并解压到指定目录 （2）修改配置文件，并添加必要变量 （3）分发到其他节点，配置环境变量 以dataxc用户为例，脚本示例如下： #!/bin/bash # hadoop.sh nodes=(n101 n102 n103) #集群地址 zk_connect='n101:2181,n102:2181,n103:2181' hdns='n101:8485;n102:8485;n103:8485' #解压hadoop到程序目录 cd /home/dataxc/sw &&amp
Hadoop 参数 mapred.map.child.java.opts
zhuhailong
10-17 1万+
Hadoop mapred.map.child.java.opts 解决 outofmemory问题
如何合理设置hadoop相关组件的jvm Xmx
leo的大数据之路
04-23 5552
1.这个问题不是很简单么？直接设置不久好了，java -Xmx2000m像这样不就好了。No,我说的不仅仅是这个问题，比如，你看到/usr/local/bigdata/jdk/bin/java -Xmx2048m -Djava.net.preferIPv4Stack=true -Dhadoop.log.dir=/usr/local/bigdata/hadoop/logs -Dhadoop.log.
JVM内存JAVA_OPTS参数说明
rick_123的专栏
12-01 2108
JAVA_OPTS="-server -Xms2048m -Xmx2048m -Xss512k" -server:一定要作为第一个参数，在多个CPU时性能佳 -Xms：初始Heap大小，使用的最小内存,cpu性能高时此值应设的大一些 -Xmx：java heap最大值，使用的最大内存 上面两个值是分配JVM的最小和最大内存，取决于硬件物理内存的大小，建议均设为物理内存的一半。 -XX:P
Hadoop内存溢出(OOM)分类、参数调优化（代码模拟内存溢出类型并分析原因）
aijiudu的博客
07-15 1万+
MapReduce作业运行过程中内存溢出错误分类 1、        Mapper/Reducer阶段JVM内存溢出（一般都是堆） 1)       JVM堆(Heap)内存溢出：堆内存不足时，一般会抛出如下异常： 第一种：“java.lang.OutOfMemoryError:” GC overhead limit exceeded； 第二种：“Error: Java heapspace
beeline 连接，参数报错 Cannot modify ** at runtime. It is in the list of parameters that can‘t be modified
QiwzDeBLOG的博客
05-12 2930
CDH 大数据集群，使用beeline 连接hiveserver2时，后面跟spark的一些参数时。报错Failed to open new session: java.lang.IllegalArgumentException: Cannot modify hive.spark.client.server.connect.timeout at runtime. It is in the list of parameters that can't be modified at runtime or is p
Hadoop使用常见问题以及解决方法4
weixin_30553065的博客
04-12 130
Hadoop添加节点的方法自己实际添加节点过程：1. 先在slave上配置好环境，包括ssh，jdk，相关config，lib，bin等的拷贝；2. 将新的datanode的host加到集群namenode及其他datanode中去；3. 将新的datanode的ip加到master的conf/slaves中；4. 重启cluster,在cluster中看到新的datanode节点；5....
java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z at org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Native Method) at org.apache.hadoop.io.nativeio.NativeIO$Windows.access(NativeIO.java:645) at org.apache.hadoop.fs.FileUtil.canRead(FileUtil.java:1230) at org.apache.hadoop.util.DiskChecker.checkAccessByFileMethods(DiskChecker.java:160) at org.apache.hadoop.util.DiskChecker.checkDirInternal(DiskChecker.java:100) at org.apache.hadoop.util.DiskChecker.checkDir(DiskChecker.java:77) at org.apache.hadoop.util.BasicDiskValidator.checkStatus(BasicDiskValidator.java:32) at org.apache.hadoop.fs.LocalDirAllocator$AllocatorPerContext.confChanged(LocalDirAllocator.java:331) at org.apache.hadoop.fs.LocalDirAllocator$AllocatorPerContext.getLocalPathForWrite(LocalDirAllocator.java:394) at org.apache.hadoop.fs.LocalDirAllocator.getLocalPathForWrite(LocalDirAllocator.java:165) at org.apache.hadoop.fs.LocalDirAllocator.getLocalPathForWrite(LocalDirAllocator.java:146) at org.apache.hadoop.fs.LocalDirAllocator.getLocalPathForWrite(LocalDirAllocator.java:130) at org.apache.hadoop.mapred.LocalDistributedCacheManager.setup(LocalDistributedCacheManager.java:123) at org.apache.hadoop.mapred.LocalJobRunner$Job.<init>(LocalJobRunner.java:172) at org.apache.hadoop.mapred.LocalJobRunner.submitJob(LocalJobRunner.java:794) at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:251) at org.apache.hadoop.mapreduce.Job$11.run(Job.java:1570) at org.apache.hadoop.mapreduce.Job$11.run(Job.java:1567) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:422) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1730) at org.apache.hadoop.mapreduce.Job.submit(Job.java:1567) at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:1588) at edu.imu.mapreduce.WordCount.run(WordCount.java:62) at edu.imu.m
07-03
`java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0` 通常出现在 Windows 系统上运行 Hadoop 相关程序时，由于缺少必要的本地库文件（如 `winutils.exe` 和 `hadoop.dll`）...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值