背景
阿里云上新建立了一个EMR的集群,为了不直接在EMR的集群上面提交任务。创建了一个新的gateway的节点,以供在新的集群上面提交任务。
问题详情
在登录到阿里云的EMR节点上面,使用spark-shell的时候,会出现如下截图所示的错误:

或者:

两种错误:
Caused by:iava.net. UnknownHostException:emr-header-1 cluster-3xxxxCaused by: java.io.0Exception: Failed to connect to emr-header-1.cluster-3xxxx7/10.36.1xx.xx:39927
解决方案
针对第一种错误:需要在EMR的各个节点中的host文件里面配置一下这个gateway的ip地址
针对第二种错误:需要在EMR的各个节点里面,打通与gateway的网络连接(设置一下网络安全组规则)。
总结:
在此做个记录,供后来者参考。
本文记录了在阿里云新搭建的EMR集群中,如何通过gateway节点提交任务时遇到的网络问题。主要涉及UnknownHostException和网络连接不通的解决办法,包括修改EMR节点host文件、配置网络安全组。供后续开发者参考。

被折叠的 条评论
为什么被折叠?



