Hive Exceeded MAX_FAILED_UNIQUE_FETCHES； bailing-out.

最新推荐文章于 2024-04-26 17:28:17 发布
原创 最新推荐文章于 2024-04-26 17:28:17 发布 · 776 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hive

本文介绍了解决Hive查询过程中出现的shuffle错误的方法。当文件过大导致内存分配不足时，可通过调整集群内存大小来解决此问题。

hive查询时，报错Error: org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleError: error in shuffle in fetcher#2
Hive Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out.
系统设置有关，文件较大，无法分配大内存
通过调整集群内存大小解决问题。

SW_LCC
关注
hive Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out.
binfactory的专栏
09-12 1005
hive 统计数据 发生jvm Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out error  解决方案：${HADOOP_HOME}/conf/slaves中的节点信息在/etc/hosts上配置。 本人的机器配置：一台Master 两台Slaves
Hadoop报错信息处理积累
chw1989的专栏
04-23 1744
一、报错信息：Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out 错误描述：把Hadoop集群架设好以后，运行TestDFSIO基准测试，发现总是可以map成功，但是reduce总是卡在某个位置13%、11%、16%等，等待七分钟左右，输出信息Shuffle Error: Exceeded MAX_FAILED_UNIQU
Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out.
分布式应用与服务器架构专栏
01-06 8098
hadoop在使用的过程中出现了这样的错误。 解决方式，修改datanode节点里/etc/hosts文件。 操作的详细步骤如下： 首先查看主机名称 cat /proc/sys/kernel/hostname 简单介绍下hosts格式 每行分为三个部分：第一部分网络IP地址、第二部分主机名或域名、第三部分主机别名 修改hosts配置内容如下： 127.0.0.1
Hadoop中 "Exceeded MAX_FAILED_UNIQUE_FETCHES”的错误
tubaluer
01-09 582
Hadoop中 "Exceeded MAX_FAILED_UNIQUE_FETCHES”的错误. 该错误一般和主机名有关，首先要保证自定义的/etc/hosts中的别名和hostname一致。如果的DNS或hostname配置不当，导致Hadoop去Internet找域名服务器，而使用错误的域名。域名服务配置，特别是下列文件，DNS相关配置最好使用IP而不使用字母形式域名，避免错误的域名解析...
Hadoop常见问题
weixin_34319999的博客
07-27 149
Hadoop使用常见问题以及解决方法（1） - [分布式]Hadoop使用常见问题以及解决方法Hadoop,问题,解决 1：Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-outAnswer：程序里面需要打开多个文件，进行分析，系统一般默认数量是1024，（用ulimit -a可以看到）对于正常使用是够...
Hadoop-hbase大数据环境安装
07-07
Hadoop-hbase大数据环境安装
hive配置Kerbros安全认证_hive kereveros
2401_84264610的博客
04-26 834
合并成一个keytab文件，rkt表示展示,wkt表示写入。注意：ktutil：以后面的是输入的。#生成密钥文件（生成到当前路径下）
hive配置Kerbros安全认证_hive kereveros(1)
2401_84264610的博客
04-26 597
因为服务器上可以访问keytab文件即可以以principal的身份通过kerberos的认证，所以，keytab文件应该被妥善保存，应该只有少数的用户可以访问。将生成的hdfs.keytab文件复制到hadoop配置路径下，并授权 后面经常会遇到使用keytab login失败的问题，首先需要检查的就是文件的权限。hive配置kerberos的前提是Hadoop集群已经配置好Kerberos，因此我们先来配置Hadoop集群的认证。输入规则和密码，，两次密码相同即可，我是用的是root。
hdfs相关问题及解决方案归档
weixin_44976835的博客
08-26 3214
目录问题1：reduce预处理阶段shuffle时获取已完成的map的输出失败次数超过上限问题2：Too many fetch-failures问题3：处理MR速度特别的慢问题4：能够启动datanode，但无法访问，也无法结束问题5：节点断联问题6：JVM内存不够问题7：Hadoop添加节点的方法问题8：给单个node新加硬盘问题9：IO写操作出现问题问题10：HDFS退服节点的方法问题11：IO异常问题12：status of 255 error问题13：sort by value问题14：restar
YARN执行作业报错Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out.
vincent_duan的专栏
11-07 2479
执行了一个简单的官方提供的作业： iie4bu@swarm-worker1:~/app/hadoop-2.6.0-cdh5.15.1/share/hadoop/mapreduce$ hadoop jar hadoop-mapreduce-examples-2.6.0-cdh5.15.1.jar pi 2 3 报错信息如下： Error: org.apache.hadoop.mapreduce.ta...
Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out
axs441702的博客
07-19 1110
Error: org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleError: error in shuffle in fetcher#7 at org.apache.hadoop.mapreduce.task.reduce.Shuffle.run(Shuffle.java:134) at org.apache.hadoop.ma...
hadoop异常之Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out.
道听途说
03-05 5933
最近集群扩充，发现新添加节点后，有两个异常 1、reduce变得很慢，速度显示为百M但进度不变 2、reduce偶尔失败，抛出Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out. 异常分析，由于datanode没有修改hosts文件导致的，修改以后将新加机器添加到hosts，恢复正常
在Linux上将作业提交到Yarn上运行报错Caused by: java.io.IOException: Exceeded MAX_FAILED_UNIQUE_FETCHES的解决办法
Turn X7
01-25 423
Caused by: java.io.IOException: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out.
Hadoop使用常见问题以及解决方法
weixin_33877092的博客
09-01 158
1：Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-outAnswer：程序里面需要打开多个文件，进行分析，系统一般默认数量是1024，（用ulimit -a可以看到）对于正常使用是够了，但是对于程序来讲，就太少了。修改办法：修改2个文件。/etc/security/limits.confvi /etc/security/lim...
YARN 任务执行报错：Caused by: java.io.IOException: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out
vincent_duan的专栏
03-25 1950
使用YARN运行一个wordcount时报错： 20/03/25 00:10:45 INFO mapreduce.Job: Task Id : attempt_1585065643305_0001_r_000000_0, Status : FAILED Error: org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleError: erro...
Alluxio整合MapReduce报错 Caused by: java.io.IOException: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out
逆天骚年的博客
11-22 818
查看Yarn NodeManager日志，发现以下信息： Caused by: org.apache.hadoop.util.DiskChecker$DiskErrorException: Could not find user/cache/hadoop/appcache/application_15... in any of the configured local directories 解...
Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES解决方案
小透明-溶冰
03-29 1122
转载自：http://hi.baidu.com/xiaomi/item/6d2cbdf35064040c84d27844 1.map 完成，但reduce阶段出错。 12/01/06 17:09:15 INFO input.FileInputFormat: Total input paths to process : 2 12/01/06 17:09:16 INFO mapr
yarn异常 ：error in shuffle in fetcher
weixin_43923267的博客
07-21 553
Error: org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleError: error in shuffle in fetcher#5 Caused by: java.io.IOException: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out 错误原因：内存溢出 解决方案： 在yarn-site.xml中做如下配置： <property> <name>y
macros.hive.max_partition动态分区，说分区错误该怎么办
最新发布
09-12
在 Hive 中，`macros.hive.max_partition` 并非标准的 Hive 参数，你想说的可能是 `hive.exec.max.dynamic.partitions` 和 `hive.exec.max.dynamic.partitions.pernode`，这两个参数用于控制动态分区的数量，当动态分区数量超过这两个参数的限制时，就会出现分区错误。以下是解决动态分区出现分区错误的方法： ### 调整参数值 可以适当增大 `hive.exec.max.dynamic.partitions` 和 `hive.exec.max.dynamic.partitions.pernode` 的值。这两个参数的默认值分别是 1000 和 100。可以在 Hive 客户端执行以下命令来调整参数： ```sql -- 设置每个节点允许创建的最大动态分区数 set hive.exec.max.dynamic.partitions.pernode=5000; -- 设置全局允许创建的最大动态分区数 set hive.exec.max.dynamic.partitions=10000; ``` ### 检查数据分布 动态分区错误可能是由于数据分布不均匀导致某些节点产生过多的分区。可以通过以下方式检查数据分布： ```sql -- 查看分区列的分布情况 SELECT partition_column, COUNT(*) FROM your_table GROUP BY partition_column; ``` 根据数据分布情况，对数据进行预处理，如使用 Hive 的 `DISTRIBUTE BY` 和 `SORT BY` 关键字对数据进行重新分布： ```sql INSERT OVERWRITE TABLE your_table PARTITION(partition_column) SELECT col1, col2, partition_column FROM your_source_table DISTRIBUTE BY partition_column SORT BY partition_column; ``` ### 优化查询 确保查询语句没有不必要的动态分区生成。例如，避免在不必要的情况下使用动态分区插入大量数据。可以考虑分批次插入数据，或者使用静态分区和动态分区结合的方式。 ```sql -- 静态分区和动态分区结合 INSERT OVERWRITE TABLE your_table PARTITION(partition_column='static_value') SELECT col1, col2 FROM your_source_table WHERE partition_column='static_value'; ``` ### 检查 HDFS 权限 确保 Hive 用户对 HDFS 上的目标目录有足够的权限来创建分区。可以使用以下命令检查和修改权限： ```bash hdfs dfs -chmod -R 775 /user/hive/warehouse/your_table ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值