windows10 下不能访问Hadoop在虚拟机中部署的完全分布式的hdfs和mapreduce问题

最新推荐文章于 2024-10-31 23:53:54 发布
最新推荐文章于 2024-10-31 23:53:54 发布
阅读量1.8k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： Linux hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_18377515/article/details/75041827
本文介绍了在搭建Hadoop集群过程中遇到的无法通过HTTP访问节点的问题。通过一系列排查步骤包括关闭防火墙、调整网络模式等最终定位并解决了问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1.通过查找文档配置完全分布式。

2.关闭了windows和Linux的防火墙

3.关闭了Hadoop的安全模式

4.Linux网络模式改成了仅主机模式

通过以上四步还是没解决问题最后发现windows10 启动了windows firewall服务


的服务中




解决办法：关闭windows firewall

之后windows 中输入http://node1:50070 可以正常访问

Hadoop完全分布式部署
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
06-25 3303
要想深入的学习hadoop数据分析技术，首要的任务是必须要将hadoop集群环境搭建起来，可以将hadoop简化地想象成一个小软件，通过在各个物理节点上安装这个小软件，然后将其运行起来，就是一个hadoop分布式集群了。(1）学会hadoop完全分布式配置 (2）理解完全分布式配置的配置文件本次环境是：Ubuntu16.04 + jdk1.8.0_73+hadoop-2.7.3Hadoop 集群的安装配置大致为如下流程:   选定一台机器作为 master，在 master 节点上安装 Hadoop，配置网
【Hadoop】安装部署-完全分布式搭建
Deity567的博客
06-28 2790
Hadoop是一个适合大数据的分布式存储和计算平台。狭义上说Hadoop就是一个框架平台，广义上讲Hadoop代表大数据的一个技术生态圈，包括很多软件框架。而我们的完全分布式，指的是在真实环境下，使⽤多台机器，共同配合，来构建⼀个完整的分布式 ⽂件系统。在真实环境中，hdfs中的相关守护进程也会分布在不同的机器中。Hadoop是大数据中的基础框架，有着广泛的应用，也是其他大数据框架的基础。总的来说，对于本次Hadoop的完全分布式的搭建还算是挺简单滴啦，若有不对滴还请大家在评论区指正哦！
小白带你解决Windows上安装Hadoop所遇之坑
IT Baicn的博客
12-15 425
一、坑一 Error: JAVA_HOME is incorrectly set. Please update D:\javatemps\hadoop-2.7.2\conf\hadoop-env.cmd 提升我的java环境搭建错误，可是刚刚执行如此命令还可以： java -version 解决方法 1、如果你的JDK安装路径是默认的在C盘的“Program files”下，那...
hadoop 本机不能访问虚拟机启动的hdfs的50070端口web界面
Genebrother
04-28 6871
首先 第一步 确定你启动了namenode 和datenode 启动成功并且能正常工作 jps 命令敲出后有进程运行 影响有2点： 1、虚拟机的防火墙设置 2、windows 电脑的hosts文件设置 故障现象： 本机windows端进入浏览器输入hadoop的hdfs的服务器ip和端口号 例如我的是192.168.1.130：50070 查...
Win 7 eclipse访问虚拟机上hadoop
hfut_jf的专栏
09-25 2018
因为hadoop安装在虚拟机里，虚拟机同时带不动eclipse和hadoop，就打算在windows下eclipse访问虚拟机里的hadoop，搜索了一下，需要做如下配置。 操作系统：Windows 7 hadoop：1.2.1 首先配置eclipse，安装hadoop插件，然后在window->preferences->hadoop map/reduce设置windows下hadoop路径
hadoop 无法访问hdfs(50070,8088)的web界面
weixin_39868387的博客
11-15 5313
启动集群成功后， [root@localhost hadoop-2.7.2]# sbin/yarn-daemon.sh start resourcemanager starting resourcemanager, logging to /opt/hadoop/module/hadoop-2.7.2/logs/yarn-MissZhou-resourcemanager-localhost.loca...
Windows作为client客户机访问Hadoop集群
wj的博客
12-13 1337
Windows作为client客户机访问Hadoop集群1. 将集群中的Hadoop打包解压到Windows客户机2. 将Hadoop配置文件中的文件地址都改为本机地址，hadoop和Java的地址均需要修改为与本机一致的位置；3. 修改Windows环境变量4. 配置本地用户变量5. 替换bin文件6. 修改hosts文件7. 网络测试8. 传输文件测试 1. 将集群中的Hadoop打包解压到W...
大数据平台Hadoop实验环境部署（完全分布式集群模式）
传播有益的技术文章，力求精准、专业、专心、专享
09-10 3962
本文讲述了hadoop大数据实验平台完全分布式集群部署详情
ubuntu中hadoop完全分布式部署【三台主机】
weixin_38383877的博客
05-16 2103
链接：https://pan.baidu.com/s/1tmVEGjRI_7CXgCzcmocRAw。2、在/etc/profile中添加环境变量，并使其生效【注意切换为自己的实际路径】3、安装成功测试,输入以下命令，出现java版本。#（1）在三台主机中分别生成密钥，六、配置hadoop完全分布部署。#（2）在三台主机中传输密钥。# 退出连接使用:logout。五、配置zookeeper环境。解决方案：重新安装vim。# 查看是否修改成功。
windows 访问linux hadoop,windows下远程连接linux系统下hadoop_并开发调试.pdf
weixin_34274601的博客
05-11 224
windows下远程连接linux系统下hadoop_并开发调试Windows 下远程连接 linux 系统 hadoop并开发调试目录一、 准备工作二、 Hadoop 安装三、 Eclipse 配置四、 远程调试配置注：此文档将基本流程解释清楚，希望阅读者活学活用，不要拘泥。一、 准备工作(一) 软件准备、硬件准备1、 软件：Eclipse 3.5.0Hadoop-hadoop-0.2...
本地windows访问hadoop的hdfs并实现wordcount
weixin_74257347的博客
09-21 1914
下载地址直接下载zip文件，之后保留自己hadoop版本的或者相近版本的就可以，其他都删掉。 这里我保留的3.3.5 因为我的是3.3.1 ok下载完成.配置系统变量: 新建一个环境变量,并写入自己的依赖项路径. 然后再Path中配置:记得点确定!! 这里可能总共有三个确定,必须全点,否则没用.作者试错过,真的好难崩..希望读者别.. files中点击新建项目，选择maven项目，新版idea只有maven archetype 这是maven项目的子项，所以我们点击右上边的Java蓝字。编辑自己的项目名称
在windows中用浏览器访问hadoop提供的web端口：8088和50070时出现异常
qq_42326585的博客
10-22 1078
Windows拒绝访问请求，./start-all.sh关闭服务后./start-all.sh重新启动服务就行了。 (如果还是不行可以看看是否格式化了namenode，并且删除 tmp文件夹的相应内容) ...
HDFS客户端操作（win10）
weixin_38023225的博客
09-10 696
搭建开发环境 1）拷贝编译后的hadoop jar包到非中文路径 hadoop源码编译参考：https://blog.youkuaiyun.com/weixin_38023225/article/details/100576751 也可直接下载：https://download.youkuaiyun.com/download/weixin_38023225/11692985 2）配置HADOOP_HOME环境变量...
Windows环境下安装Hadoop全过程（一条龙服务）
最新发布
weixin_41612207的博客
10-31 4370
配置完成后，打开终端cmd，进入到进入到hadoop的安装目录：D:\apps\hadoop\hadoop-3.4.1\bin>，输入hadoop version，如果显示Hadoop的版本号，就表示安装成功了。（3）在“系统变量”区域找到名为“Path”的变量，选择它然后点击“编辑”（或鼠标双击它），在“编辑环境变量”窗口中，点击“新建”，然后添加 %JAVA_HOME%\bin。配置完成后，按照本文前面的第1条，“查看是否安装好了Java运行环境(JRE)和java开发工具包（JDK）”，进行验证。
cmd hadoop 不能运行_Windows上安装运行Hadoop
weixin_39822493的博客
12-22 504
0.自己编译安装步骤在这里，有英文版本链接：《英文传送门》。自己编译尝试后不成功，换为下面使用别人编译好的版本的方法。参考博客：《初学hadoop,windows下安装》1.下载JDK，并设置JAVA_HOME。(使用不带空格的路径，比如Program Files，将在后面的配置中报错！)假设JAVA_HOME路径为C:\Java\jdk1.8.0_73这里下载使用的是2.8.3的二进制版本文件,...
windows客户端操作hdfs报错,连接失败
csoniwant的博客
02-17 2369
java.net.ConnectException: Call From DW12136/10.10.0.41 to hadoop102:8020 failed on connection exception: java.net.ConnectException: Connection refused: no further information; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused
Hadoop集群（第7期）_Eclipse开发环境设置
weixin_34365635的博客
05-20 438
1、Hadoop开发环境简介 1.1 Hadoop集群简介 　　Java版本：jdk-6u31-linux-i586.bin 　　Linux系统：CentOS6.0 　　Hadoop版本：hadoop-1.0.0.tar.gz 1.2 Windows开发简介 　　Java版本：jdk-6u31-windows-i586.exe 　　Win系统：Windows 7 旗舰版 　　Ec...
通过浏览器访问不了hadoop的50070端口
xiaowu108的专栏
06-02 4169
解决方法：         （1）关闭防火墙：chkconfig iptables off。（2）重启系统：reboot。（3）重启成功后查看防火墙状态：service iptables status。如果命令执行的返回结果为：iptables: Firewall is not running，说明防火墙关闭成功。 （4）再次通过浏览器访问hadoop的50070端口成功了，大功告成。      ...
win中连接hdfs失败问题
流的博客
11-04 1184
（1）win中连接hdfs会出现如下问题： （2）hdfs下载 https://github.com/LUK-qianliu/solving-for-windows-hdfs 放入到E:\hadoopConfig\hadoop-common-2.2.0-bin-master目录下。 （3）程序中加入 System.setProperty("hadoop.home.dir", "E:\\hadoo...
Windows下搭建Linux虚拟机与Hadoop伪分布式实战
- Hadoop配置：在虚拟机中安装Hadoop 3.1.3，并配置伪分布式模式。 - 实践操作：通过实际操作，如创建HDFS目录、上传文件到HDFS、运行MapReduce任务等，来熟悉Hadoop的基本操作流程。 通过这个实验，参与者将建立起...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值