hadoop单机部署报错

最新推荐文章于 2024-03-30 11:15:44 发布
最新推荐文章于 2024-03-30 11:15:44 发布
阅读量239 收藏
点赞数
分类专栏： java 文章标签： hadoop hdfs 大数据 zookeeper 学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/iijik55/article/details/126665791
版权
在配置Hadoop过程中遇到了两个主要问题：1）datanode未启动导致liveness节点为0；2）无法访问localhost:50070。第一个问题通过修正/etc/hosts文件解决，添加了主机名到127.0.0.1的映射。第二个问题的根源在于/tmp目录，清空该目录并重新format namenode后问题得到解决。参考了相关博客文章以找到解决方案。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

今天配置hadoop的时候，过程总是报错。

中途有两个错误：

1，live node 为0

2，localhost：50070打不开

第一个错误的原因是data node没有起来，一步一步排错发现在hadoop namenote -format 这步报了UnknownHostException异常

通过修改/etc/hosts 文件得到解决：

修改/etc/hosts文件

127.0.0.1主机名localhost.localdomain localhost

或是再添加一条

127.0.0.1 主机名

主机名是新加的，原来没有，保存，问题解决。

第二个错误是修改好第一个错误之后，重新格式化，但是namenode没有起来，又是一阵折腾，发现是/tmp文件夹是hdfs的默认文件夹，需要把里边的内容全部删除，然后重新format才可以解决。期间参考了http://mrlee23.iteye.com/blog/2009777这篇文章

Hadoop单机及集群部署
qq_42568323的博客
08-07 1763
通过以上步骤，我们成功地使用 Python 实现了一个简单的 Hadoop Word Count 程序。Hadoop Streaming 提供了极大的灵活性，可以使用任意支持标准输入输出的编程语言来实现 MapReduce 作业。这使得开发者能够利用熟悉的编程语言进行大规模数据处理。如果在开发过程中遇到任何问题，请确保查看 Hadoop 和 Python 的错误日志，以便更快地定位问题并进行调试。SSH 问题：确保所有节点之间的 SSH 无密码访问正常。Java 环境问题。
Ubuntu下Hadoop的单机安装
weixin_46203911的博客
04-24 5905
云计算实验中要求我们在Linux系统安装Hadoop，故来做一个简单的记录。 Hadoop安装步骤如下： 一、更新apt和安装vim编辑器 二、配置本机无密码登录SSH 三、安装JAVA环境 四、下载安装Hadoop ...
Apache Hadoop生态部署-hadoop单机安装
wester的博客
02-23 936
Apache Hadoop生态部署-hadoop单机安装
解决连接服务器下的mysql时出现[HY000][1130] null, message from server: “Host ‘‘ is not allowed报错
qq_56696697的博客
04-10 1万+
出现这个问题先考虑端口3306是否开通，如果开通还出现报错则开始下一步 解决这个问题有个很简单的方法就是先进入mysql然后命令use mysql 然后通过命令 GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY'Pycharm_123' WITH GRANT OPTION; 出现如下图： 成功修改权限 然后在本机电脑上通过如图： 输入ip和root 以及刚设置的密码然后Test Connectionj即可连接成功 如果你想允
【已解决】伪分布式Hadoop服务已经开启，但是无法访问http://localhost:9870（缺少NameNode进程）\http://localhost:8088
Yaoyao2024的博客
03-30 5021
使用如下方法启动成功hadoop服务进入相应文件夹首先停止启动所有的节点，使用命令行启动stop-all.sh脚本使用jps命令查看当前hadoop运行貌似没问题其实这里就是有问题！！！后续解决方法里面说继续打开，查看web界面显示无法连接到。
Hadoop启动成功，但是无法访问http://localhost:9870解决方法
xiaobai_i_xuexi的博客
10-08 1万+
问题： Hadoop启动成功，但是无法访问http://localhost:9870解决方法 1.有博主建议查看防火墙的 输入命令发现我的Linux并没有防火墙。。。所以不可能是防火墙问题 详见：https://www.cnblogs.com/SH170706/p/10320701.html 2.也有博主建议 编辑配置文件hdfs-site.xml 详见https://blog.youkuaiyun.com/xingyue0422/article/details/85316822 这些都有尝试 但是仍没有解决 最后
记Hadoop安装中出现的各种问题
DZFinder的博客
03-08 9843
经历了几天的不断尝试，最终成功的安装了hadoop3.1.3，在安装的过程中踩了很多的坑，在此将我的经历分享给各位，希望在大家遇到问题时能给予一定的帮助，特别是正在或者打算学习大数据的朋友们，在安装hadoop之前如果能仔细阅读我的这篇文章，可以避免很多不必要的错误，使安装过程更加顺利 ...
Hadoop——实验五：HBASE单机部署、伪分布部署
maochaofei的博客
06-16 1165
文章目录一. 实验目的二. 实验内容三. 实验步骤及结果分析 1. 基于ubuntukylin14.04(5)版本，完成HBASE单机式配置部署 1.1 下载安装HBase 1.2 配置HBase环境变量 1.3 检查HBase 1.4 HBase单机模式配置 1.5 启动HBase 2. 基于ubuntukylin14.04 (6)版本，完成HBASE伪分布式配置部署 2.1 配置hbase-env.sh文件 2.2 配置hbase-site.xml文件 2.3 运行HBase 3. 基于ubuntuky
hadoop——HA集群部署
m0_65809235的博客
06-28 1482
各节点布置NameNodeDataNodeNameNodeDataNode。
【mongodb系统学习之五】mongodb启动最常用参数
weixin_34194702的博客
07-16 215
五、mongodb启动时其他常用参数的使用（都是选用）： 1）、--logappend，指定日志的写入方式为追加，强烈建议使用； 2）、--port，指定mongodb的端口号，当不使用这个参数的时候，默认是27017； 3）、--fork，使mongodb以后台进程的方式运行，当使用这个参数启动以后，可以在...
pxe 安装教程
sxjccj的专栏
12-12 1351
pxe安装，是一种无盘安装，通过网络从服务器中下载操作系统，实现快速安装的方法，下面就来介绍一下安装的教程和可能出现的问题，及解决方法。           通过虚拟机模拟实现 pxe 安装。本人用的是 VM 9, Linux 系统是CentOS。           由于是本人第一次写，可能有点乱，忘见谅。          该过程分为两大块。          所谓的服务端，就是要从网
发布部署错误总结
Jelly
10-25 609
本文包括在发布部署中遇到问题总结
TensorFlow 错误 ValueError: No gradients provided for any variable
qq_35276242的博客
07-24 7429
@TensorFlow 错误 ValueError: No gradients provided for any variable 搭建GAN的结构时出现问题 ValueError: No gradients provided for any variable: ["<_RefVariableProcessor(<tf.Variable ‘generator_Q/mlp_1/weigh...
Gcc编译时出现 [-Werror=unused-parameter]
私房菜
03-01 1万+
项目在开发的时候可能要求将所有的warning 都暴露出来，在gcc 编译的时候需要加上flag -Wall。 如果没有使用的变量或者函数，就会在这个时候暴露出来，并提示如下信息： error: unused parameter ‘spid’ [-Werror=unused-parameter] 这里总结下解决的办法： 1. 当然就是将flag 去掉，不要提示，这个属于下下策。 ...
Error:No value provided for variable{mapId}解决方法
每天写一点，进步一点点
08-01 2622
1 问题描述启动npm start发现浏览器出现以下错误2 原因描述如下所示，组件里面url中mapId没有为其赋值<Map id='MapCom' center={[51.505, -0.09]} zoom={13} zoomControl={false}> <TileLayer attribution='© <a href="http://osm.org/c
hadoop安装完后打开网页http://localhost:50070/ 没反应
Coder的不平凡
09-22 2万+
在hadoop安装完后，依次执行hadoop namenode -format，start-dfs.sh，start-yarn.sh 之后 打开浏览器 输入 http://localhost:50070/ 无反应，查了网上很多说法都没有解决，直到关掉电脑连接的VPN之后就可以了。。
Hadoop2.7.1 安装提示SHUTDOWN_MSG: Shutting down NameNode at java.net.UnknownHostException
热门推荐
简单-生活
03-12 3万+
刚配置Hadoop2.7.1 格式化namenode时报出这个这个错误 /************************************************************ SHUTDOWN_MSG: Shutting down NameNode at java.net.UnknownHostException: xxx: xxx: Name or service not
ubuntu配置hadoopjdk
最新发布
03-13
### 安装和配置 JDK 为了在 Ubuntu 上安装 Java 开发工具包 (JDK)，可以通过官方仓库或者手动下载 Oracle 或者其他版本的 JDK 来完成。通常推荐使用系统的默认库来简化管理。 更新本地软件包索引并安装 OpenJDK： ```bash sudo apt update && sudo apt install default-jdk -y ``` 验证安装是否成功，通过命令 `java -version` 可以查看当前使用的Java版本[^3]。 ### 配置环境变量 编辑 `/etc/profile` 文件，在文件末尾追加如下内容以便设置 JAVA_HOME 环境变量: ```bash export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64 # 这里应替换为您实际安装路径 export PATH=$PATH:$JAVA_HOME/bin ``` 使更改生效： ```bash source /etc/profile ``` 再次运行 `echo $JAVA_HOME` 应该返回之前设定好的目录位置；同样地，执行 `which java` 将指向 `$JAVA_HOME/bin/java`. ### 下载与解压 Hadoop 前往 Apache Hadoop 的官方网站获取最新稳定版 tarball 并上传至服务器或直接利用 wget 命令行工具下载到本地机器上。假设已经放置于 `/opt/hadoop.tar.gz`, 接下来的操作就是创建目标文件夹并将压缩包内的资料释放进去： ```bash mkdir -p /opt/hadoop tar zxvf hadoop.tar.gz --strip-components=1 -C /opt/hadoop/ chown -R $USER:$GROUPS /opt/hadoop ``` 这里 `-p` 参数确保父级目录被一同建立起来而不会报错；`--strip-components=1` 则告诉 tar 不要保留最外层的文件夹结构. ### 修改 Hadoop 配置文件 进入刚刚解压出来的 conf 目录下修改必要的几个 XML 格式的配置文档，比如 core-site.xml, hdfs-site.xml 和 yarn-site.xml 。这些文件定义了集群内部节点间通信所需的各种参数以及端口监听情况等重要信息[^2]. #### 编辑 core-site.xml 添加如下属性： ```xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration> ``` 这指定了 NameNode 默认地址为本机上的 9000 端口。 #### 对于单机伪分布模式而言，还需要调整 hdfs-site.xml : ```xml <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> ... </configuration> ``` 此部分设定了数据块复制因子为一，即不进行冗余备份操作。 最后一步是初始化 namenode ，启动所有服务组件，并检查状态日志确认一切正常工作。 ```bash /opt/hadoop/bin/hdfs namenode -format start-dfs.sh jps ``` 如果看到类似于 SecondaryNameNode, DataNode, NameNode 的进程列表，则说明基本部署已完成[^1]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值