踩坑笔记mp停留在kill Command处

已于 2022-03-12 15:14:17 修改
阅读量3.4k 收藏 2
点赞数
文章标签： hadoop hive hdfs
于 2022-03-12 14:31:38 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/hx741078265/article/details/123443275
版权

概括：

检查一下datanode是否都变成了Unhealth Node

今天在写shell脚本的时候，里面用到了hive的函数，执行后发现一直卡在kill Command这：在这里插入图片描述
于是各种百度，什么添加空间、修改配置都不好使。。。
最后在yarn上想看看执行情况：
在这里插入图片描述

  • 发现我的两个datanode都变成了Unhealth Node(后来被我修复了，恢复成了active node)…Unhealth Node是没法使用的。

解决办法

在我的datanode的虚拟机里删除一些不要的文件，释放一些存储空间，于是重启hadoop刷新一下，让datanode又重新变成了active node。于是重新执行之前的脚本，成功运行

阿拉歌
关注
datanode Unhealthy Nodes
九师兄
10-17 1161
简介：今天单机启动hadoop发现，datanode存在，但是页面上却显示Unhealthy Nodes 1.现象 2.原因 当磁盘数少于一定量时，会把这台机器变成unhealthy，将不会再给这台机器分配任务。 yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage 90...
狂神说Linux笔记
PJ_STAR的博客
04-10 1766
B站视频 狂神说Linux Java开发之路： JavaSE, MySQL, 前端（html,css,js）, javaweb, SSM框架， SpringBoot vue , SpringCloud ,(mybatis-plus git) Linux Linux 操作系统： Window、Mac 消息队列(Kafka, RabbitMQ, RockeetMQ) 缓存(Redis) 搜索引擎(ElasticSearch) 集群分布式(需要购买多台服务器)
【Hadoop】集群运行卡在Kill Command = /opt/module/hadoop-2.7.2/bin/hadoop job -kill job_1582192539192_0001
HR的博客
01-18 2842
当hive运行卡主不动时，报错如下 hive (default)> select count(*) cnt from emp; Query ID = root_20200220175612_bb456a03-2298-4d20-82b9-c0a96ae859a0 Total jobs = 1 Launching Job 1 out of 1 Number of reduce tasks determined at compile time: 1 In order to change the aver
hive kill command 和 Hadoop Job infomation 之间的时间间隔很大
06-04 396
hive kill command 和 Hadoop Job infomation for stage-19 number of mappers 之间的时间间隔很大 超过三分钟 ，不知道什么原因
hive使用count()函数卡在kill command报错：Error during job, obtaining debugging information...
lkx99661014的博客
03-01 2516
本文借鉴：https://blog.youkuaiyun.com/qq_41428711/article/details/86169029 Attention： 卡在kill command 百度上有很多 解决的帖子，但是他们的方法解决不了我的问题，所以我仔细观察了一下他们大部分kill command 后面的路径最后都是/bin/hadoop，但我的是/bin/mapred。所以有同样问题的朋友要确认一...
yarn里有大量的短暂killed的hive任务问题排查
遥望......
06-28 1335
问题：我们用AWS EMR的时候发现在yarn的application manager ui里有大量killed的hive任务，而且非常之多，如截图所,我们是通过hive server2方式提交任务的： 解决方案： 首先想到的是不是有什么进程在不断的捣鬼，后来grep 下所有hive进程，将该杀的都杀了之后，并没有什么特殊的异常进程，但是在grep的瞬间有遇到类似如下的命令：bash /usr/lib/hive/bin/hive -e show PARTITIONS mytable 因为我们的..
整理ps使用笔记
LawssssCat的博客
03-30 903
BSD——UNIX——-GNU——--通过help命令，可以看到ps似乎对于options做了分类BSD注意分层。
web安全攻防实训笔记
weixin_65379378的博客
04-07 1306
1. Nmap的基本 Nmap + ip 6+ ip Nmap -A 开启操作系统识别和版本识别功能 – T（0-6档） 设置扫描的速度 一般设置T4 过快容易被发现 -v 显示信息的级别，-vv显示更详细的信息 192.168.1.1/24 扫描C段 192.168.11 -254 =上 nmap -A -T4 -v -iL ~/targets.txt (iL表示要扫描的目标位于一个文档中) --------------- 192.168.1.1/24 ...
李明珂笔记
m0_67879481的博客
04-07 398
1. Nmap的基本 Nmap + ip 6+ ip Nmap -A 开启操作系统识别和版本识别功能 – T（0-6档） 设置扫描的速度 一般设置T4 过快容易被发现 -v 显示信息的级别，-vv显示更详细的信息 192.168.1.1/24 扫描C段 192.168.11 -254 =上 nmap -A -T4 -v -iL ~/targets.txt (iL表示要扫描的目标位于一个文档中) --------------- 192.168.1.1/24 --exclu...
实训笔记 三
weixin_65379410的博客
04-07 901
一， Nmap的基本 Nmap + ip 6+ ip Nmap -A 开启操作系统识别和版本识别功能 – T（0-6档） 设置扫描的速度 一般设置T4 过快容易被发现 -v 显示信息的级别，-vv显示更详细的信息 192.168.1.1/24 扫描C段 192.168.11 -254 =上 nmap -A -T4 -v -iL ~/targets.txt (iL表示要扫描的目标位于一个文档中) --------------- 192.168.1.1/24 ...
Unity访问WebService个人用
11-15
Unity访问WebService个人用
Unity下截屏并直接保存到相册的插件！
02-09
直接调用：ScreenshotHelper.iCaptureScreen(CaptureScreenCallBack);即可实现截屏。 函数void CaptureScreenCallBack(Texture2D texture2D) { new FilePathName().SaveTextureAs(texture2D,FilePathName.SaveFormat.JPG); } 是截屏成功后的回调函数，负责保存图片。 简单易用！经测试，无问题！
iOS 本地多选图片
01-08
iOS 本地多选图片，改造自“星球之外”的共享
【问题一：依赖检测失败；问题二：hive执行脚本启动，报错：java.net.ConnectException: 拒绝连接
lgq2004214的博客
10-12 818
我们需要先输入两个解决依赖的命令（1、sudo yum install -y libaio 2、sudo yum install -y net-tools）安装软件包，存在依赖检测失败问题。（安装软件包命令：rpm -ivh mysql-community-server-5.7.28-1.el7.x86_64.rpm）最后结果，(输入:show databases;在输入安装软件包命令就可以成功啦！
Hadoop踩坑
最新发布
qq_62237888的博客
04-26 159
Hadoop踩坑
linux命令小笔记1
hx741078265的博客
12-12 724
wc命令 统计词频啥的 wc --help 帮助 wc -l 返回行数 sort命令 给文档里的内容排序 sort --help 帮助 sort test.txt sort -n test.txt sort -nr test.txt 倒序 sort -k 2 -n test.txt 按第二列内容排序 uniq命令 检查文档里的重复行 uniq --help uniq test.txt 去重 uniq -c test.txt 显示重复行以及重复次数 uniq -u test.txt 返回不重复的行 sor
机器学习入门笔记-简易版线性回归算法理解加实例(最小二乘法)
hx741078265的博客
05-15 613
线性回归算法 回归算法就是将一些连续的有一定规律的点拟合成一条直线或者曲线的形式，通过这条直线或曲线，就可以预测后来的点大致位置了。 比如说我们现在有八个散列的点，我用8×2的矩阵表示 x = np.array([ [0.5, 1], [1, 1.8], [1.5, 2.2], [2, 2.3], [2.5, 3], [2.7, 3.1], [2.9, 3.1], [3.1, 3.3], ]) 第一列代表二维空间中的x的值第二列代表y值，可以看到它们的分布是这样的：我们发现，这些点的分布大致都是朝着一个方向
解决11代笔记本在PE系统中硬盘识别问题
在信息技术领域，尤其是在硬件驱动和操作系统的兼容性问题上，我们经常会遇到一些特定的硬件组件无法被操作系统识别的情况。根据文件提供的标题、描述、标签以及压缩包中的文件列表，我们可以推测出以下知识点： 1....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值