hadoop
关注
分享
扫一扫
ChaosJ
毕业于北京邮电大学，现就职于Tencent 。
主要技术栈：Yarn、K8S、Tensorflow、Java、C++、Python、Spark、Mapreduce；
主要工作内容：hadoop 平台运维、机器学习平台、服务部署管理平台建设及运维；
展开
-
Hadoop动态调整日志级别
Hadoop 动态调整日志级别hadoop 线上基础服务 ResourceManager，运行中排查问题，不能直接重启调整日志级别，hadoop给我们提供了动态修改类日志级别的方式。通过Yarn命令行调整日志级别拿ResourceManager类举例子yarn daemonlog -setlevel <host:httpport> org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler INF原创 2021-04-06 21:51:43 · 1383 阅读 · 0 评论 -
MapReduce job Shuffle 过程的ERROR
1.错误描述error: org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleError: error in shuffle in fetcher#43at org.apache.hadoop.mapreduce.task.reduce.Shuffle.run(Shuffle.java:134)at org.apache.had原创 2016-04-13 19:25:37 · 1529 阅读 · 0 评论 -
yarn LocalResourcesTrackerImpl remove resource Error
1. NM异常日志 (/data0/hadoop/log/yarn/yarn-mapred-nodemanager-yz5202.hadoop.data.sina.com.cn.log) ERROR org.apache.hadoop.yarn.server.nodemanager.containermanager.localizer.L原创 2016-10-25 11:42:05 · 1762 阅读 · 0 评论 -
Yarn的架构及原理基础
1.1 YARN 基本架构YARN是Hadoop 2.0中的资源管理系统，它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务：一个全局的资源管理器ResourceManager和每个应用程序特有的ApplicationMaster。其中ResourceManager负责整个系统的资源管理和分配，而ApplicationMaster负责单个应用程序的管理。 ...原创 2016-10-26 09:56:04 · 514 阅读 · 0 评论 -
Yarn shuffle OOM错误分析及解决
Reference: 最近再补mapreduce相关的知识，该片文章引用同事前辈大宇神的博客文章！ http://dj1211.com/?p=358 大家也可以没事看看他别文章，都写得不错！！！--------------------------------------------------------...原创 2016-10-26 13:40:18 · 1581 阅读 · 0 评论 -
maptask 超时问题 Timed out after 600 secs
Maptask 超时问题（1）1.Maptask超时问题情况描述某个maptask重试四次后导致job失败，失败原因就是task超时,如下： ` AttemptID:attempt_1470311300058_6506513_m_000010_0 Timed out after 600 secs`mapred.task.timeout 参数说明The number of mi...原创 2016-11-09 21:55:21 · 13663 阅读 · 0 评论 -
mr 问题
Maptask 超时问题（1）1.Maptask超时问题情况描述某个maptask重试四次后导致job失败，失败原因就是task超时,如下： ` AttemptID:attempt_1470311300058_6506513_m_000010_0 Timed out after 600 secs`mapred.task.timeout 参数说明The number of milli...原创 2018-09-15 16:48:21 · 524 阅读 · 0 评论