CM记录-优化配置解决Reduce卡顿问题

最新推荐文章于 2025-09-05 15:08:23 发布

weixin_30292843

最新推荐文章于 2025-09-05 15:08:23 发布

阅读量137

点赞数

CC 4.0 BY-SA版权

文章标签：大数据

原文链接：http://www.cnblogs.com/xinfang520/p/8033442.html

本文介绍了一种Hive提交任务时遇到的问题——任务在Reduce阶段进展缓慢的情况，并通过日志发现NodeManager节点的usercache所在分区空间不足。通过调整配置及优化SQL语句，最终解决了该问题。

CDH大数据集群问题问题分析与解决方案

问题描述：Hive提交任务，一直卡在Reduce阶段，进度缓慢。

日志分析：NodeManager节点产生的usercache所在分区空间不足，导致进程异常退出。

解决方案：1）调整各个NodeManager节点的配置-/opt/yarn/nm、/spark/yarn/nm；2）优化SQL语句。

重新部署客户端配置，重启后，执行速度提升，问题得以解决。

作业中止命令：hadoop job -kill <jobid>

转载于:https://www.cnblogs.com/xinfang520/p/8033442.html

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

weixin_30292843

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

[Spark基础]--聚合操作-reduceByKey、combineBykey、groupBy和AggregateByKey

欢迎来到我的博客，一起探索代码里的世界！

12-20

4657

1、Spark中的reduceByKey和CombineByKey有什么区别？groupByKey和CombineByKey / reduceByKey有很大的区别。请参阅以下文章以深入了解。 reduceByKey和CombineByKey之间的唯一区别是API，在内部它们的功能完全相同。reduceByKeyCombineByKeyreduceByKey在内部调用combineByKeyCom...

大模型微调出错的解决方案（持续更新）

热门推荐

herosunly的博客

06-13

20万+

本文主要介绍了大模型微调出错的解决方案（持续更新），希望对学习大语言模型的同学们有所帮助。文章目录 1. 前言 2. 解决方案 2.1 大模型环境配置问题 2.2 实时观测GPU变化 2.3 微调卡住不动

参与评论您还未登录，请先登录后发表或查看评论

【Yarn】NodeManager本地缓存源码解析

HHoao的博客

08-28

1263

NodeManager本地缓存中资源有三种可见度：PUBLIC、PRIVATE、APPLICATION，每种可见度都需要不同的处理PUBLIC：全局共享缓存，资源存放在 ${yarn.nodemanager.local-dirs}/filecache/ 目录下PRIVATE：对应用户级别共享资源，资源存放在yarnnodemanagerlocal−dirsusercache{user}/filecache/ 目录下。

Hadoop nodemanager启动报usercache文件夹创建权限问题，如何解决？

weixin_45430563的博客

12-26

1072

Hadoop nodemanager启动报usercache文件夹创建权限问题，如何解决？解决方案：sbin-start-all.cmd使用管理员身份运行即可

NodeManager中分布式缓存机制

METON的博客

08-25

1052

分布式缓存介绍在Yarn中，分布式缓存是一种分布式文件分发与缓存机制，类似于MRv1中的Distrubuted Cache，其主要作用就是将用户应用程序执行时所需的外部文件资源自动透明的下载缓存到各个节点，从而省去了用户手动部署这些文件麻烦。 YARN分布式缓存工作流程如下: 客户端将应用程序所需的文件资源(外部字典、JAR包、二进制文件)提交到HDFS上。客户端将应用程序提交到RM上。 RM将与某个NM进行通信，启动应用程序AM，NM收到命令后，首先从HDFS上下载文件(缓存),...

记一次nodemanager无法启动的情况

weixin_30814329的博客

07-05

1263

早上看CDH发现有一个nodemanager挂掉然后查看对应的日志。发现在日志里面并没有错误。，然然后发现服务器的磁盘满了，赶紧清理磁盘空间清理磁盘的时候发现主要是/tmp目录下面生成了很多类似这种的日志。清理完空间之后重启nodemanager。发现还是启不来到这里之后发现就停住了。。。。然后CDH页面就挂了nodemanager还是起不来。 ...

Hive优化总结

GodxvA

03-30

8783

一、SQL本身的优化 1、只select需要的列，避免select * 2、where条件写在子查询中，先过滤再关联 3、关联条件写在on中，而不是where中 4、数据量大时，用group by代替count distinct 5、数据量小时，用in代替join 6、避免笛卡尔积 7、join时大表放后面，使用相同的连接键 7、严格格式 Hive.mapred.mode，分 nonstrict，strict，默认是nonstrict，如果设置为strict，对三种情况限制：（1）分区表必须加分区。

Hive优化----系统评估reduce数为1的MR Job优化

刘瑞东的专栏

12-17

3347

Hive优化之系统评估reduce数为1的MR Job优化名词解释：云霄飞车：hive本身对MR Job的 reduce数估算不合理，导致reduce分配过少，任务运行很慢，云霄飞车项目主要对hive本身reduce数的估算进行优化。 map_input_bytes：map输入文件大小，单位：bytes map_output_bytes：map输出文件大小，单位：byt

YARN源码分析(八)-----Reduce Shuffle过程分析

走在前往架构师的路上

10-04

5035

前言在Hadoop Job的各个运行过程中,Shuffle阶段一直是一个比较神秘的过程.因为Shuffle阶段是隶属于Reduce过程的子过程,所以很多时候会被人所忽略.

手把手推导Ring All-reduce的数学性质

OneFlow深度学习框架

04-25

3460

实现高度优化的集群通信，以及根据任务特点和通信拓扑选择合适的集群通信算法至关重要。

hadoop 程序在运行时 reduce过程卡在某个进度不动的问题

xp152167的博客

10-21

7943

今天写好hadoop 程序之后，进行线上测试，驶入数据为一个hive表的文件，location到了一个hdfs目录下，然后跑hadoop的过程中，map阶段没有出现问题，但是每次到了reduce阶段，进度都卡在33%不动了，刚开始以为是集群问题，后来重新启动了几次任务，都是这种情况。可能的情况1：后来在stackoverflow上找到了答案，这是hadoop上数据倾斜造成的问题（我的hiv

一次因为数据问题引起的reduce被卡住streaming作业问题排查

快乐程序员的专栏

03-21

3797

广告产品技术部有一个作业总是卡在某个reduce上，运行了好几个小时也运行不完，经过他们初步排查找不着问题原因，发邮件让我帮看看，我看了一下这个streaming作业是用python实现的，而且听他们描述，3月17之前该作业是没问题的，以下是可能存在问题的地方：

Sqoop初次正式使用所遇疑难杂症疗方

weixin_46001623的博客

03-18

2021

SQOOP 疑难杂症疗方前言测试sqoop 能否连的上数据库这时第一个错误出现了疗方现在我们可以尝试抽数了这时我们可能会遇到第二个问题疗方成功后我便用一个比较大点的表来进行测试所以第三个问题来了疗方前言因为在公司后台架构组件中已经安装好了Sqoop 所以我这里直接使用即可。可以使用此命令来查看是否有安装sqoop 和其版本 sqoop version [hdfs@AnalytoolNode ~]$ sqoop version Warning: /opt/cloudera/parcels/CDH

MYSQL数据库操作注意要点(python版）

飞起来的喵

12-22

268

1、建表时，如果添加过主键自增（PRINARY KEY AUTO_INCREMENT）第一列在增加数据的时候，可以写为0或者null，这样添加数据可以自增。 2、时间日期字段的类型，很少用datatime，一般直接用string类型就好。这样如果从web接口获取到的datatime格式的字符串数据，可以直接存进表里，后端逻辑处理方便，后续对比时间或者获取特定日期时间，也可以直接字符串操作。 3、用python插入数据时，可以用MySQLdb库，方便进行数据库连接和操作。多行数据一次性插入，用execut

【Hive-优化】Hive的优化方式一（通过ClouderaManager进行参数优化）

weixin_53543905的博客

12-25

1547

CDH支持的引擎一共有两个一个是MR，另一个是Spark，但是Spark不一定比MR快，因为经历了Hive2.0的版本和Hadoop3.0的版本后，MR的性能已经得到了大幅度的提升，如果要配置配置如下即可。Hive的默认查询执行引擎一次处理一行，而矢量化查询执行是一种Hive特性，目的是按照每批1024行读取数据，并且一次性对整个记录整合（而不是对单条记录）应用操作。因为我们使用的是hive2.0.0的版本，Hadoop3.0的版本，新版本在对于JVM重用方面进行了优化，所以在这里不用配置了。

YARN 环境准备、启动

aicyo8644的博客

02-27

338

1、配置：<property> <name>mapreduce.framework.name</name> <value>yarn</value></property>&l...

解决运行MapReduce一直卡在Running

四国棋客

10-26

1206

背景今日运行MapReduce时，一直卡在running，现在记录下解决方法解决方法在yarn-site.xml中，加入如下配置 <property> <name>yarn.nodemanager.resource.memory-mb</name> <value>20480</value&...

数智管理学（四十八）

chainso23的博客

09-04

833

数据驱动管理理论：数智时代的企业转型核心摘要：数据驱动管理理论已成为数智化时代企业转型的核心支柱。该理论强调通过数据的采集、分析与应用，实现决策科学化、运营高效化和创新持续化。在战略层面，企业利用大数据分析技术精准洞察市场动态、客户需求和竞争环境；在流程优化方面，通过数智化技术实现资源配置优化、生产流程改进和营销策略升级；在创新驱动方面，运用数据挖掘技术识别潜在机会，推动产品服务和商业模式创新。实践表明，数据驱动管理能显著提升企业运营效率（如生产效率提升30%）、降低成本（15%），并创造新的商业价值。这

【Kafka】Kafka使用场景用例&Kafka用例图