hive任务，一些map长时间无法结束

最新推荐文章于 2025-01-31 14:39:42 发布
最新推荐文章于 2025-01-31 14:39:42 发布
阅读量5.2k 收藏 3
点赞数
分类专栏： Hadoop、Spark、Hbase... 文章标签： hive hbase hive整合hbase
在Hive整合HBase的过程中遇到map任务长时间执行的问题，排查了YARN状态和资源分配，未找到明显原因。尝试从日志中寻找线索，怀疑与数据分布和分发有关。尽管数据能被查询，但怀疑未完全写入HDFS。最终通过指定列簇解决了部分问题，但原问题的根因仍未明确。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

【此文几天前曾删除过一次，因为并没有真正意义上的的解决如标题所示的问题】

接上一篇文章elasticsearch数据到hive、es-hadoop6.3.0中最后hive的查询任务，某些map长时间执行。

1、查看19888端口历史任务：
这里写图片描述
2、8088

24个map长时间执行，96个完成。

24个未完成的map分别在ip11、12、13节点，分别是9、9、6个map
这里写图片描述
查看这些失败的任务，发现不存在失败map集中在某一datanode节点的情况

yarn？不，集群yarn状态ok。
这里写图片描述

yarn资源的分配？看看log，好吧，我也看不出什么名堂
这里写图片描述
留意到这样的日志，但不知意义（SUCCEEDED的map不会有这样的log，也有可能这只是log的中间状态？）

hive的数据倾斜解决（Map端、reduce 端 、join中）
someInNeed的博客
06-17 5933
hive的数据倾斜解决（Map端、reduce 端 、join中） lianchaozhao 2020-11-02 15:24:08 667 收藏 4 分类专栏： 工作实践 hive 大数据 文章标签： hive 大数据 版权 hive 的数据倾斜一般我们可以分为 Map倾斜、reduce 倾斜和join 倾斜这几种。 一、Map 倾斜 Map 端是 MR 任务的起始阶段， Map 端的主要功能是从磁盘中将数据读人内存， Map 端的两个主要过程如图所示。 此处复习仪表map 过程 1、客户..
Hive高级用法01-hive调优
小梁
07-24 1971
文章目录1. 查看执行计划    1.1 执行计划有什么用:    1.2 怎么查询执行计划    1.3 简单示例2.建表优化      2.1 建分区表         2.1.1 什么是分区表   &nbs
Hive map阶段缓慢，优化过程详细分析
weixin_33697898的博客
08-01 7292
背景 同事写了这样一段HQL(涉及公司数据，表名由假名替换，语句与真实场景略有不同，但不影响分析)： CREATETABLEtmpAS SELECT t1.exk, t1.exv, M.makenameASm_makename, S.makenameASs_maken...
Xilinx ISE Map过程时间过长的解决
pigyyf的博客
04-28 1万+
最近在Kintex 7上开发新的项目，骤然发现曾经在Virtex 5和Spartan 6上移植过来的成熟算法，综合布线时出现Map时间非常漫长的现象。 这个漫长不是一般的长，打个比方，以前在Virtex 5下同一个算法完成全部综合布线仅用10分钟，在Kintex 7下却耗时长达7~8个小时。从console窗看，常常卡在7.8 或8.8 global placement这一步，后面有很多....
Hive map阶段缓慢
hellojoy的博客
01-24 4187
不同数据类型关联产生数据倾斜 场景：用户表中user_id字段为int，log表中user_id字段既有string类型也有int类型。当按照user_id进行两个表的Join操作时，默认的Hash操作会按int型的id来进行分配，这样会导致所有string类型id的记录都分配到一个Reducer中。 解决方法：把数字类型转换成字符串类型 select * from users a   l...
sqoop 将hive数据导出mysql,map reduce卡住问题
Landy.LRY的博客
04-20 1835
直接上图给初入坑的小伙伴看看问题的样子查看日志没有报错，各种百度......最后对了一下mysql的表字段和hive的表字段才发现有一个字段没有对上。最后留下一篇记录提醒一下入门的小白。当然，导致问题的原因有多种，只希望能提醒粗心的小白别忘记考虑到字段的对应。...
hive执行mapreduce任务卡死
Yimyl_的博客
12-15 2536
我的虚拟机只分配了2g内存，内存不够。 虚拟机一直会杀死java线程。 太隐蔽了，一直没看到。 扩容虚拟机内存完事。
Hive对同一张表或分区并发写数据导致任务失败
编程技术、独立开发、技术资讯以及编程感悟等内容
01-31 723
Hive对同一张表或分区并发写数据导致任务失败
hive优化到底应该怎么优化（面试必备）
weixin_49165958的博客
08-12 866
hive优化
hive--map数量过小导致hive运行缓慢
qq_46893497的博客
03-11 2651
map数量过小导致hive运行缓慢 查看脚本发现 参数
hive 分配map数过少导致任务执行慢
weixin_30701521的博客
08-24 542
数据表大概150M，但是只有几个字段，导致行数特别多，当使用正则表达式去匹配时执行较慢。 解决思路：增大map数; //设置reduce数为150，将原表分成150份，map数无法直接设置，因为和输入文件数和文件大小等几个参数决定set mapred.reduce.tasks = 150; //在map完成阶段不对文件进行合并，相应还有个mapredfiles，是在整个任务完成后不对输出文...
hive 很慢解决办法
暮雨听轩的专栏
04-09 1万+
hive 很慢：运行一下一下语句：set mapred.child.java.opts=-Xmx1024m;set mapreduce.map.java.opts=-Xmx1310m;set yarn.app.mapreduce.am.command-opts=-Xmx2457m;set mapreduce.reduce.java.opts=-Xmx2620m;...
怎样去找出线上hive或mapreduce运行慢的原因
学无止境
08-19 9767
hive mapreduce 都会转成java。所以要用的java分析工具。当看到map或reduce 阶段运行缓慢，我们去线上找到mapreduce的进程： 1. top 发现进程： 2. top -Hp 32486 找到进程中cpu或mem磁盘消耗最高的线程： 3.  用jstack主要用来查看某个Java进程内的线程堆栈信息： bin/jstack -F 26510
# Hive提交到yarn的任务一直在running问题排查
墨冰
12-02 698
Hive提交到yarn的任务一直在running问题排查
Hive提交到yarn的任务一直在running问题排查
热门推荐
u013332124的专栏
04-13 3万+
一、问题描述 最近有数据平台的同学反馈yarn上面有一些任务跑了很久没有结束，状态一直处于running中。去Spark HistoryServer查看任务详情也没看到相关运行记录，需要人为手动kill任务才会停止并释放资源。 二、问题排查 从Spark HistoryServer可以看出，任务的Driver虽然启动了，但是并未执行job，并且一直阻塞在那没有退出。从yarn的角度来看，这个...
Hive学习（5）hive任务执行进度卡在99%原因及解决
优快云博客专家，领域包括但不限于：AI、大数据、Python、架构师，有合作、课程、问题、疑惑请私信博主
01-15 2万+
问题： hive任务执行进度卡在99%是因为在Job完成后的所得到的Counters是整个Job的总和，优化是基于这些Counters得出的平均值，而由于数据倾斜的原因造成map处理数据量的差异过大，使得这些平均值能代表的价值降低。Hive的执行是分阶段的，map处理数据量的差异取决于上一个stage的reduce输出，所以如何将数据均匀的分配到各个reduce中，就是解决数据倾斜的根本所在。规避错误来更好的运行比解决错误更高效。在查看了一些资料后，总结如下。 1. 数据倾斜原因 1.1操作： 关键
大数据-MapReduce的效率问题与优化
Destiny的博客
03-31 1479
效率问题 （1）数据倾斜 （2）Map和Reduce数量设置不合理 （3）Map运行时间太长，导致Reduce等待过久 （4）小文件过多（CombineTextInputFormat小文件合并） （5）不可分块的超大文件（不断的溢写） （6）多个溢写小文件需要多次Merge 效率优化 从六个方面思考：（1）数据输入；（2）Map阶段；（3）Reduce阶段；（4）IO传输；（5）数据倾斜；（6）参...
Hive 任务卡在 map = 0%, reduce = 0%
Alex
06-21 3944
Hive 卡在map = 0%, reduce = 0%阶段 解决：增加map个数，设置mapreduce.input.fileinputformat.split.maxsize 小于系统默认值，需要综合考虑调用更多map时候的消耗 定位时发现任务卡在map = 0%, reduce = 0%阶段，而且发现map分配数量很少，所以猜测分配map较慢，增加map数量可解决问题。 ...
hive提交任务如何设置map数量
最新发布
03-14
<think>嗯，用户问的是Hive如何设置Map任务的数量。这个问题我得先回忆一下Hive的调优机制。首先，Hive任务的Map数量通常是由输入数据的大小决定的，每个Map处理一个块，默认是128M。所以如果数据量大，Map数量自然多。不过用户可能想知道如何手动调整这个数量，可能是为了优化性能或者适应特定的集群资源。 接下来，我需要考虑Hive中有哪些参数可以影响Map数量。记得有mapred.min.split.size和mapred.max.split.size这两个参数，或者Hive自己的版本hive.exec.mappers.bytes.per.mapper。调整这些参数可以改变每个Map处理的数据量，进而影响数量。比如，调小每个Mapper处理的数据量，就会增加Map数量，反之则减少。 然后，用户可能还会遇到文件数量的问题，比如小文件太多，导致Map任务过多。这时候需要合并小文件，可以通过参数设置输入合并，比如hive.input.format和hive.merge.mapfiles，或者在任务前进行小文件合并。 另外，用户可能会提到动态分区导致大量小文件，这时候应该检查是否开启了合并参数，比如hive.merge.mapfiles和hive.merge.mapredfiles，以及设置合并后的文件大小。这些参数在动态分区插入数据时特别重要，避免生成过多小文件影响性能。 还需要考虑用户是否了解任务的具体执行情况，比如如何查看当前任务的Map数量，可能通过EXPLAIN命令或者日志中的Job信息。这时候可以建议用户在实际调整参数后，运行任务并观察日志中的Map数量变化，以验证参数设置是否有效。 此外，用户可能有不同的场景，比如有的需要减少Map数量以减少任务启动开销，有的需要增加Map数量以提高并行度。这时候需要分情况讨论，给出不同的参数调整策略。比如处理大量小文件时，可以调整max.split.size来合并处理，减少Map数；而处理压缩文件时，尤其是不可分割的格式如GZIP，可能需要先解压或者重新压缩为可分割的格式如BZip2，才能有效控制Map数量。 最后，需要提醒用户参数调优需要根据集群资源和数据特点综合考虑，避免极端设置导致性能下降。比如过多的Map任务会增加调度开销，而过少则可能导致资源利用不足。建议用户逐步调整参数，观察效果，找到最适合当前情况的配置。</think>在 Hive 中，Map 任务数量的控制主要通过以下参数和机制实现。以下是逐步说明： --- ### 一、Map 任务数量决定因素 Hive 的 Map 数量主要由以下两点决定： 1. **输入数据量**：每个 Map 处理的数据量由 `mapred.max.split.size` 决定（默认与 HDFS 块大小一致，通常为 128MB）。 2. **输入文件数量**：如果文件数较多且每个文件小于 `mapred.min.split.size`，可能每个文件对应一个 Map。 --- ### 二、核心控制参数 #### 1. 调整单个 Map 处理的数据量 $$ \text{Map 数量} = \frac{\text{总输入数据量}}{\text{mapred.max.split.size}} $$ ```sql -- 设置单个 Map 处理的最大数据量（单位：字节） SET mapred.max.split.size=256000000; -- 256MB SET mapred.min.split.size=256000000; -- 确保合并小文件 ``` #### 2. Hive 专用参数 ```sql -- 直接指定每个 Mapper 处理的数据量（Hive 2.0+） SET hive.exec.mappers.bytes.per.mapper=256000000; ``` #### 3. 文件合并优化 ```sql -- 合并小文件作为输入（减少 Map 数量） SET hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat; ``` --- ### 三、特殊场景优化 #### 1. 动态分区插入小文件问题 ```sql -- 开启 Map-only 任务合并小文件 SET hive.merge.mapfiles=true; SET hive.merge.mapredfiles=true; -- 如果包含 Reduce 阶段 SET hive.merge.size.per.task=256000000; -- 合并后文件大小 SET hive.merge.smallfiles.avgsize=160000000; -- 平均文件小于此值时触发合并 ``` #### 2. 压缩文件处理 - 若使用不可分割压缩格式（如 GZIP），需先解压或改用可分割格式（如 BZip2）。 --- ### 四、验证 Map 数量 1. 通过 `EXPLAIN` 命令预判： ```sql EXPLAIN SELECT * FROM table; ``` 2. 运行任务后查看日志： ``` Hadoop job information: Number of mappers: 10; Number of reducers: 1 ``` --- ### 五、注意事项 1. **避免极端设置**：Map 数量过多会增加调度开销，过少会降低并行度。 2. **资源匹配**：需与 YARN 集群的 `yarn.scheduler.maximum-allocation-mb` 和 CPU 核心数匹配。 通过调整以上参数，可有效控制 Hive 任务的 Map 数量。建议根据实际数据量和集群资源进行逐步调优。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值