Hadoop的配置及启动【伪分布式】过程

本文详细介绍Hadoop伪分布式环境的搭建步骤,包括JDK安装、Hadoop安装配置、SSH免密登录设置、NameNode格式化及各服务启动等关键环节。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

参考原文:https://medium.com/@nidhinmahesh/getting-started-hadoop-mapreduce-hdfs-and-yarn-configuration-and-sample-program-febb1415f945(需要挂代理访问)

apt (Advantage package tools)

伪分布式:
    NameNode:3.x  9870  2.x 50070 
    secondaryNameNode(NameNode的副本)  9868
    DataNode 
    ResourceManager 8088
    NodeManager

Hadoop配置及启动伪分布式过程:
1. 官网下载jdk如1.8并安装
2. Apache官网下载hadoop并且安装
3. 安装ssh(本机默认带的ssh不支持)
    1).sudo apt-get install openssh-server
    2).生成公钥和私钥(本地使用私钥加密数据,对方主机不要使用公钥进行解密)  rsa 算法
       ssh-keygen -t rsa P '' -f ~/.ssh/id_rsa  (之后再~/.ssh/下面会有 id_rsa私钥 id_rsa.pub 公钥)
    3).添加信任主机
      cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys   ( >> 输出重定向)
    4).以ssh 登录localhost 第二次就不需要密码了

4.配置*-site.xml
5.NameNode 格式化  : hadoop namenode -format
6.启动dfs  start-dfs.sh --config $HADOOP_INSTALL/etc/hadoop_pseudo
7.启动yarn start-yarn.sh --config $HADOOP_INSTALL/etc/hadoop_pseudo
(还可以使用 start-all.sh --config $HADOOP_INSTALL/etc/hadoop_pseudo)
  (--config $HADOOP_INSTALL/etc/hadoop_pseuduo 是命令模式携带参数启动伪分布式,如不指定路径,则默认启动单机模式)
(通过配置环境变量,不用写--config $HADOOP_INSTALL/etc/hadoop_pseudo,export HADOOP_CONF_DIR=$HADOOP_INSTALL/etc/pseudo)
8.查看启动状态 
  1) jps
  2) http://localhost:9870 名称节点

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值