Hadoop使用常见问题以及解决方法（1）

最新推荐文章于 2022-01-13 14:49:21 发布

liuzx32

最新推荐文章于 2022-01-13 14:49:21 发布

阅读量405

点赞数

分类专栏： Hadoop 文章标签： hadoop 服务器 session 网络 login 框架

Hadoop 专栏收录该内容

34 篇文章

订阅专栏

本文详细介绍了如何解决MapReduce中常见的ShuffleError与Too many fetch-failures问题，包括调整系统文件描述符限制、检查网络配置及SSH密钥设置等内容。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1：Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out
Answer：
程序里面需要打开多个文件，进行分析，系统一般默认数量是1024，（用ulimit -a可以看到）对于正常使用是够了，但是对于程序来讲，就太少了。
修改办法：
修改2个文件。
/etc/security/limits.conf
vi /etc/security/limits.conf
加上：
* soft nofile 102400
* hard nofile 409600

$cd /etc/pam.d/
$sudo vi login
添加 session required /lib/security/pam_limits.so

针对第一个问题我纠正下答案：
这是reduce预处理阶段shuffle时获取已完成的map的输出失败次数超过上限造成的，上限默认为5。引起此问题的方式可能会有很多种，比如网络连接不正常，连接超时，带宽较差以及端口阻塞等。。。通常框架内网络情况较好是不会出现此错误的。

2：Too many fetch-failures
Answer:
出现这个问题主要是结点间的连通不够全面。
1) 检查、/etc/hosts
要求本机ip 对应服务器名
要求要包含所有的服务器ip + 服务器名
2) 检查 .ssh/authorized_keys
要求包含所有服务器（包括其自身）的public key