MAC 下安装hadoop

最新推荐文章于 2025-05-29 13:21:06 发布
最新推荐文章于 2025-05-29 13:21:06 发布
阅读量532 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： spark学习 文章标签： hdfs
原文链接：https://juejin.im/post/5daeacb5518825048d147aee
本文详细介绍如何在伪分布式模式下安装配置Hadoop，包括从官网下载、解压到配置JAVA_HOME，修改核心配置文件如core-site.xml、hdfs-site.xml等，以及初始化和启动HDFS、YARN服务的步骤。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

转自: https://juejin.im/post/5daeacb5518825048d147aee

  1. 官网下载hadoop: http://hadoop.apache.org/releases.html
  2. 文件下载后解压,将文件放入 /usr/local目录下
    伪分布式模式设置:
    进入目录: hadoop-3.2.1/etc/hadoop
  3. 在hadoop-env.sh文件中增加JAVA路径设置:
    export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_211.jdk/Contents/Home
  4. 打开core-site.xml文件,
    在这里插入图片描述
  5. 打开hdfs-site.xml文件:
    在这里插入图片描述
  6. mapred-site.xml文件
    在这里插入图片描述
  7. yarn-site.xml文件
    在这里插入图片描述
    JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME

配置完成
8. 在/bin执行: ./hdfs namenode -format 初始化hdfs
9. 启动hdfs : 进入目录hadoop-3.2.1/sbin，执行./start-dfs.sh
10. 进入目录hadoop-3.2.1/sbin，执行./start-yarn.sh启动yarn
11. 进入目录hadoop-3.2.1/sbin，执行./stop-all.sh即可关闭hadoop的所有服务

Mac 安装Hadoop
ricky_lyq的博客
10-12 320
1. SSH 首先在系统里打开远程登录，位置在 System Preference -> Sharing 中，左边勾选 Remote Login，右边选择 All Users。 ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys chmod 0600 ~/.ssh/authorized_keys ssh localhost用来测试 2. 安装hadoop br
Mac 安装Hadoop教程（HomeBrew安装）
总结复盘，才能不迷失自己！
08-31 3227
本教程旨在介绍在Mac 电脑上安装Hadoop，便于编程开发人员对大数据技术的熟悉和掌握。
Mac下安装Hadoop
阿甘兄
02-18 7523
文章目录01 引言02 配置ssh环境02 安装与配置Hadoop03 启动Hadoop并验证3.1 启动Hadoop3.2 启动yarn服务 01 引言 如果想在Mac下安装Hadoop而且让Hadoop能正常运行，那安装之前需要先安装java，具体可以参考之前写的博客《Mac下安装JDK11（国内镜像）》。 好了，现在开始讲解如何在Mac环境下安装Hadoop。 02 配置ssh环境 在Mac下如果想使用Hadoop，必须要配置ssh环境， 如果不执行这一步，后面启动hadoop时会出现Connecti
零基础：手把手教在mac系统搭建hadoop环境
最新发布
2402_82578793的博客
05-29 890
hadoop分布式使用一般三台起步，用虚拟机也是想要在一台物理机上配置多台。现在使用的是多申请云服务器达到一样效果。这边使用的是华为云服务器我选择的是按需计费，按流量计费和AlmaLinux系统。申请三台后，可以选其中之一改名为master，并且把所有密码重置。点击远程登录 选择vnc方式之后把用户名密码登上就算成功了 *注意输入密码不会回显*重启后显示根据上面的操作，修改两台主子节点名（slave1,slave2）和ip地址。
MAC系统安装Hadoop
weixin_45535519的博客
12-09 1449
MAC系统安装Hadoop
Mac 安装 Hadoop 详细教程（安装包 and Homebrew）
weixin_39149333的博客
10-16 2723
JDK 版本高于 JDK 8，可能会导致 Hadoop ResourceManager 打不开，从而导致无法访问 localhost:8088。因此最好的方法，就是准备好 JDK 8 的环境，然后导入到 Hadoop 当中。PS: 这种安装方式可能会少 lib/native 文件夹，具体原因未知。2. 如果失败，则在本地设置中，搜索“共享”，打开“远程登录”。4. 点击，下载到本地，然后解压，放在自己需要的目录中，我放在了。
mac下安装hadoop与hive
wz1226864411的博客
03-02 1695
hadoop 3.x安装 1、ssh免密登陆配置 ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys chmod 0600 ~/.ssh/authorized_keys 2、下载并安装hadoop brew install hadoop 下载完后hadoop...
Mac上安装Hadoop+hive
sqlboyAKong的博客
09-17 636
具体步骤如下注意：1、第五步第1点输入ssh-keygen -t rsa后应该是按4次回车2、第八步第4点修改mapped-site文件，文件名写错了，应该是mapred-site3、jdk下载好后，路径都是/Library/Java/JavaVirtualMachines/zulu-8.jdk/Contents/Home，而hadoop下载好后博主是放在/Library/hadoop-3.4.0路径下，所以一些涉及Hadoop路径的操作我们要根据自己Hadoop存放的路径做相应修改。
mac安装Hadoop3.2.1教程（超详细）
01-07
由于课程需要和工具限制，需要在mac上安装Hadoop，参考了网上的教程，总结了用terminal安装Hadoop3.2.1以及运行第一个Wordcount程序的过程。这里默认mac的terminal已经安装了homebrew软件管理工具、JDK环境，如果没...
Mac 上安装Hadoop
qq_42603181的博客
09-14 970
1.安装JAVA 安装java就不详细说了，直接下载jdk，安装。现在mac新版本好像都不用专门给java和python配置环境变量就直接能用。 终端输入java -version 如果显示出java版本号就ok了。如果没有，使用命令vim ~/.bash_profile 修改一下环境变量。 2.下载Hadoop 网址：https://hadoop.apache.org/releases.html 根据想下载的版本，选一个，下载解压。 3.下载的同时，修改mac的配置。 系统偏好设置–>选择共享–&
Mac系统安装Hadoop
菜鸟码农升职记
05-05 1874
我的系统是
mac系统下安装hadoop+hbase+spark单机版+IDEA和scala编写使用spark来计算的helloworld程序
sxj的专栏
01-13 5532
一、启动ssh服务 1、首先找到系统偏好设置，如下图所示： 2、然后选择共享，如下图所示： 3、然后将远程登录选上，并选择所有用户，如下图所示： 4、此时即可通过ssh登录了。 二、建立ssh无密码登录本机 1、ssh生成密钥有rsa和dsa两种生成方式，默认情况下采用rsa方式，首先主机上创建ssh-key，这里我们采用rsa方式。使用如下命令(P是要大写的，后面跟""，...
Hadoop 安装教程 (Mac m1/m2版)
xiaoqingqing521的博客
10-12 5154
中内容替换如下，路径需换成自己的路径。(4)打开core-site.sh文件【vim core-site.xml】，将标签
【hadoop】在Mac m1下搭建安装hadoop环境（亲测有效版）
zjutkarma的博客
10-11 4167
在Mac m1环境下安装hadoop教程 亲测有效 超简单版
Mac安装Hadoop
Likes的博客
08-25 228
https://www.jianshu.com/p/2c3b04ac498d
Mac 安装hadoop
u012848622的专栏
06-30 230
所需要准备的工具： hadoop版本：2.7.3 Java：1.8 假如你还需要Hadoop-native的话，还需要以下这几个工具。 但是Hadoop-native不是每个用户必需的，如果不用的话，只准备上面两个就好了。 关于什么是Hadoop-native和编译Hadoop-native的方法。这里后续补上链接。。 protoc 2.5.0(必需要是这个版本) cmake maven 1、安装Java 下载Java 最新的版本https://pan.baidu.com/s/1kPDv..
mac安装hadoop
09-04
- *1* *3* [Mac下安装Hadoop](https://blog.youkuaiyun.com/qq_20042935/article/details/123007927)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值