mac 部署伪分布的hadoop环境。

本文介绍如何通过免密登录设置及验证JDK版本,完成Hadoop2.7.5的下载、安装配置流程,并进行namenode格式化及启动验证。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1、免密登录localhost

  1. 1. ssh-keygen -t rsa

  2. Press enter for each line

  3. 2. cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

  4. 3. chmod og-wx ~/.ssh/authorized_keys

  5. 验证  --$ ssh localhost

Last login: Wed Sep 19 15:36:42 2018 from ::1

2、验证jdk版本   java -version我的版本是
$ java -version

java version "1.8.0_181"

Java(TM) SE Runtime Environment (build 1.8.0_181-b13)

Java HotSpot(TM) 64-Bit Server VM (build 25.181-b13, mixed mode)

3、下载hadoop文件https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.5/hadoop-2.7.5.tar.gz我这里使用的是2.7.5版本

解压 tar zxvf hadoop-2.7.5.tar.gz
解压后 cd到 hadoop-2.7.5下的 etc/hadoop开始我们的配置之路。

(配置内容可以参考https://www.cnblogs.com/EnzoDin/p/6940448.html

配置完之后 格式化namenode

hadoop namenode -format

然后在sbin目录下启动start-all.sh脚本

./start-all.sh

jps命令查看启动情况

ok到此我们的配置就完成了。

 

### 配置单节点伪分布Hadoop集群 #### 准备环境 为了在腾讯云服务器上配置单节点伪分布Hadoop集群,需先确保已准备好Linux操作系统环境并完成基本设置。这包括但不限于更新系统软件包、安装Java环境等基础操作。 #### 下载与解压Hadoop 获取官方发布的稳定版本Hadoop压缩文件,并将其放置于合适目录内进行解压处理。 ```bash wget https://archive.apache.org/dist/hadoop/core/hadoop-3.3.1/hadoop-3.3.1.tar.gz tar -xzvf hadoop-3.3.1.tar.gz ``` #### 修改配置文件 进入`$HADOOP_HOME/etc/hadoop/`路径下编辑核心配置文件core-site.xml, hdfs-site.xml 和 yarn-site.xml来适应当前环境需求[^3]。 对于`core-site.xml`, 添加如下内容以指定NameNode地址: ```xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration> ``` 针对`hdfs-site.xml`,则应加入以下条目以便定义数据存储位置及副本数量: ```xml <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.name.dir</name> <value>/path/to/namenode/data</value> </property> <property> <name>dfs.data.dir</name> <value>/path/to/datanode/data</value> </property> </configuration> ``` 而`yarn-site.xml`中可以保持默认状态或依据具体应用场景做适当调整。 #### 初始化HDFS文件系统 通过命令行工具初始化namenode上的元数据信息,这是启动前必不可少的操作之一。 ```bash $HADOOP_HOME/bin/hdfs namenode -format ``` #### 启动服务组件 依次开启Namenode、Datanode以及其他必要辅助模块,可通过脚本批量执行此过程。 ```bash start-dfs.sh start-yarn.sh ``` 此时可以在浏览器访问http://公网IP:50070确认Web UI是否正常显示,以此验证整个部署流程的成功与否[^1]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值