Hadoop远程提交作业，返回内网IP问题

最新推荐文章于 2024-06-03 13:11:19 发布
原创 最新推荐文章于 2024-06-03 13:11:19 发布 · 554 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop #big data

本文介绍了如何修改hdfs-site.xml配置，将`dfs.client.use.datanode.hostname`设置为true，确保客户端通过主机域名而非内网IP访问Hadoop的DataNode节点。同时强调了配置中涉及主机的部分必须使用hostname代替IP，以避免端口转发失败的问题。

需要在hdfs-site.xml中修改配置项dfs.client.use.datanode.hostname设置为true，就是说客户端访问datanode的时候是通过主机域名访问，就不会出现通过内网IP来访问了

但同时切记，其他所有配置项设计到主机的，都不能再出现ip，必须用相应ip对应的hostname来代替。

尝试过端口转发，以失败告终

[ vulhub漏洞复现篇 ] Hadoop-yarn-RPC 未授权访问漏洞复现
qq_51577576的博客
09-03 2057
[ vulhub漏洞复现篇 ] Hadoop-yarn-RPC未授权访问漏洞复现 Hadoop是一个由Apache基金会所开发的分布式系统基础架构，由于服务器直接在开放了 Hadoop 机器 HDFS 的 50070 web 端口及部分默认服务端口，黑客可以通过命令行操作多个目录下的数据，如进行删除，下载，目录浏览甚至命令执行等操作，产生极大的危害。...
阿里云环境下搭建HadoopHA集群
weixin_44825085的博客
08-12 2333
阿里云环境下搭建HadoopHA集群 1. HadoopHA介绍 1.1 hadoop高可用集群的简介 ​ hadoop是一个海量数据存储和计算的平台，能够存储PB级以上的数据，并且利用MapReduce可以对这些数据进行并发式计算；hadoop平台采用的是主从式架构（master/slave）即一个master和若干个slave，这个master就是namenode节点，该节点负责存储和管理元数据、配置副本策略、管理数据块的映射信息以及处理客服端的读写请求，由此可见namenode节点的压力还是比较大；
hadoop client返回内网ip报错ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: RECEIVED SIGNAL 15: SIGT
weixin_42599429的博客
04-07 3828
在hdfs-site.xml加入 <property> <name>dfs.client.use.datanode.hostname</name> <value>true</value> </property> 重启集群 hadoop dfsadmin -refreshNodes client代码加入 configuration.set("dfs.client.use.datanode.hostna.
Failed to connect to /xxx.xxx.xxx:50010 for block, add to deadNodes and continue
forborn的博客
12-25 4694
记录： 用java通过api读取hdfs上面的文件是，出现了 Failed to connect to /xxx.xxx.xxx:50010 for block, add to deadNodes and continue 这是由于本地测试和服务器不在一个局域网,安装的hadoop配置文件是以内网ip作为机器间通信的ip.在这种情况下,我们能够访问到namenode机器,namenode会给我们数...
解决方案：外域HDFS客户端访问内网HDFS datanode
学亮编程手记
07-31 2552
客户端机器报错 外域机器通信需要用外网ip，未配置hostname访问会访问异常，namenode return hosts to hadoop client，the hosts is inner ip，outter client can not request by inner ip. so need config **dfs.client.use.datanode.hostname** in otter client. 解决方案 服务器客户端，hdfs-site.xml 配置客户端用hostname方式
eclipse远程访问虚拟机中的hadoop（hdfs）报超时错误解决办法
ZYT152的博客
04-19 1017
注意：本方法适合于这种错误 经过我测试，虚拟机中的hadoop安装没有问题，eclipse连接虚拟机的插件没有问题，但是就是eclipse连接不上虚拟机的hdfs且，DFS Location没有不显示目录内容。在研究了个把小时之后，突然意识到是防火墙没有关闭。下面给出关闭防火墙的有关步骤。 经查资料得知： 防火墙以及Selinux会导致后面一些有关大数据的实验出现问题，所以需要将其关闭。在...
阿里云上安装hadoop并远程操作
仰望星空
11-09 1811
前言: 在公司用到了hadoop,于是想搭建一个hadoop环境.从慕课网上找了门 Hadoop基础知识与电商网站日志数据分析课学了下,这是笔记,供本人复习之用. 目录 第一章 环境介绍 第二章 Hadoop的安装 2.1 jdk安装 2.2配置ssh登陆 2.2.1 配置让服务器能自己登陆自己 2.2.2 让本地能通过ssh远程连接阿里云服务器 2.3hadoop的安装 第...
使用Idea连接阿里云搭建的Hadoop集群
qq_44927477的博客
08-08 688
通过阿里云内网搭建Hadoop集群后，使用Idea无法进行上传下载操作，在安全组中开放相应端口仍然无法解决，因此更改hosts映射，换为外网搭建集群，使用Idea正常访问
本地远程连接云主机Hadoop集群调试失败，datanode连接超时，端口9866
qq_31454379的博客
05-15 3866
问题： 在本地有一套hadoop集群，阿里云主机有一套集群； 本地IDEA开发工具写的MapReduce调试案例，可以在直接连接本地虚拟机集群运行跑，但是连接云主机集群报错，连接datanode超时！ 本地调试案例驱动主方法代码如下： 报错信息如下： 仔细看报错信息，发现是连接datanode的时候，请求打在了集群的内网ip上，而阿里云集群的内网地址在外面当然是访问不了，因此访问超时！ 显然，本地虚拟机的地址与本机共用一个内网，因此没有这个问题！ 解决办法： 找了很久资料，发现有hdfs-site.xm
Cloudera Manager中HDFS的NameNode 绑定内网IP
小虫滴博客
03-09 1543
Cloudera Manager中HDFS的NameNode 绑定内网IP原因：因为在CDH中hdfs-site.xml配置文件中WEB UI配置的是域名，而域名在Hosts又被解析成内网IP。你使用netstat -apn | grep 50700看一下监听情况。发现监听的是你的内网IP，而不是外网IP，所以HDFS的WEB UI就无法访问啦。解决办法：1. 如果你使用的是Apache Hado...
阿里云搭建hadoop集群服务器，内网、外网访问问题（详解。。。）
weixin_33906657的博客
12-06 2069
　　这个问题花费了我将近两天的时间，经过多次试错和尝试，现在想分享给大家来解决此问题避免大家入坑，以前都是在局域网上搭建的hadoop集群，并且是局域网访问的，没遇见此问题。 因为阿里云上搭建的hadoop集群，需要配置映射集群经过内网访问，也就是局域网的ip地址。 　　如果配置为公网IP地址，就会出现集群启动不了，namenode和secondarynamenode启动不了，如果将主机的映射...
无法访问服务器的hdfs
beOkWithAnything
02-14 1223
我们访问namenode机器，namenode会给我们数据所在datanode的ip地址供我们访问数据传输服务, 但是返回的的是datanode内网的ip,我们无法根据该IP访问datanode服务器. 报错如下 2018-06-06 17:01:44,555 [main] WARN [org.apache.hadoop.hdfs.BlockReaderFactory] - I/O error constructing remote block reader. java.net.ConnectEx
解决外网无法访问HDFS文件系统②
02-01 3359
本地HDFS的javaAPI访问云服务器之上的Hadoop
用vscode写微信小程序时，设置自动将less文件编译成wxss文件
weixin_44218060的博客
01-09 2317
##第一步：下载easy less插件 ##第二步：在设置setting文件中进行配置 ###打开设置setting文件 ##第三步：在setting.xml中添加如下配置： "less.compile": { "outExt": ".wxss" } 重新新建less保存就可看到自动生成wxss文件了 ...
HDFS客户端域名解析失败导致UnknownHostException事故解析
小昌昌的博客
12-27 2437
生产环境HDFS客户端发生了临时的域名解析失败问题，此时HDFS客户端虽然在重试，但是实际上对域名却并未重新解析，因此重试无效。本文基于我们在生产环境遇到的这个问题，详细记录了分析的过程和最终的根本原因的查找。
datanode节点名称是localhost的问题解决
JacksonKing的专栏
12-12 3684
一、问题背景 今天过来发现预生产的hadoop集群全挂了，后来才知道昨晚运维把集群停机换内存，真心***，把集群机器恢复过程中，将机器的datanode启动后，在namenode的webui列表里发现该机器的节点名称怎么是localhost，截图如下： 二、问题现象 如上所示，节点的名称本该是datanode**的主机名，变成localhost 看了下主机名确实是换了，以为是运维主机名...
本地 Java API 访问云上 HDFS 集群的问题与解决
最新发布
qq_53324833的博客
06-03 1203
这篇文章默认是已经在云上配置好了 Haoop 集群，因此本文主要是记录一些可能会出现错误的地方。另外在进行本文的学习之前也建议先看看该文章，因为一些基本概念这里不会再进行解释了嗷。
Ubuntu 10.04 配置Hadoop-0.20.2集群指南
配置环境包括两台物理机器，每台机器上运行两个虚拟机（通过VMware以桥接模式），总计四个虚拟机，它们都有各自的独立内网IP。这些虚拟机都运行Ubuntu 10.04，并且通过SecureCRT工具进行远程连接。文件传输建议使用...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值