Spark学习2 Mac OS X上Eclipse中搭建Hadoop的开发环境

本文详细介绍了如何在Mac OS X上搭建Hadoop开发环境,包括解决NameNode启动问题和ResourceManager未启动的错误。同时,文章还指导读者在Eclipse中安装hadoop插件,并编写Map/Reduce程序,进行本地调试和集群运行。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

一、在Mac OS X 上搭建 Hadoop 开发环境

Mac上的Hadoop环境搭建可以参考Mac OS X 上搭建 Hadoop 开发环境指南

我在安装过程中遇到了两个错误:

1.使用hadoop namenode -format 启动NameNode时,hdfs报错:
在这里插入图片描述
根据报错信息猜测可能是Java路径设置错误,查看hadoop-env.sh 文件中JAVA_HOME的设置,发现路径中少了一个字母,修改成正确路径后,NameNode顺利启动。

2.使用jps查看进程时,发现只有5个进程,缺少了ResourceManager

按照Hadoop 启动了之后, ResourceManager未起来的问题解决中的方法查看hadoop -> logs文件夹下的 yarn-paopao-resourcemanager-bogon.log日志(不同电脑上文件名可能不同)。
在这里插入图片描述
注意看这条报错信息:

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值