Hadoop的配置及启动【伪分布式】过程

最新推荐文章于 2024-04-23 18:34:19 发布

翻译最新推荐文章于 2024-04-23 18:34:19 发布 · 1.1k 阅读

文章标签：

#大数据 #Hadoop

Hadoop 专栏收录该内容

4 篇文章

订阅专栏

本文详细介绍Hadoop伪分布式环境的搭建步骤，包括JDK安装、Hadoop安装配置、SSH免密登录设置、NameNode格式化及各服务启动等关键环节。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

参考原文：https://medium.com/@nidhinmahesh/getting-started-hadoop-mapreduce-hdfs-and-yarn-configuration-and-sample-program-febb1415f945（需要挂代理访问）

apt (Advantage package tools)

伪分布式：
   NameNode：3.x 9870 2.x 50070
   secondaryNameNode(NameNode的副本) 9868
   DataNode
   ResourceManager 8088
   NodeManager

Hadoop配置及启动伪分布式过程：
1. 官网下载jdk如1.8并安装
2. Apache官网下载hadoop并且安装
3. 安装ssh(本机默认带的ssh不支持)
   1).sudo apt-get install openssh-server
   2).生成公钥和私钥（本地使用私钥加密数据，对方主机不要使用公钥进行解密） rsa 算法
   ssh-keygen -t rsa P '' -f ~/.ssh/id_rsa （之后再~/.ssh/下面会有 id_rsa私钥 id_rsa.pub 公钥）
   3).添加信任主机
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys （ >> 输出重定向）
4）.以ssh 登录localhost 第二次就不需要密码了

4.配置*-site.xml
5.NameNode 格式化 : hadoop namenode -format
6.启动dfs start-dfs.sh --config $HADOOP_INSTALL/etc/hadoop_pseudo
7.启动yarn start-yarn.sh --config $HADOOP_INSTALL/etc/hadoop_pseudo
（还可以使用 start-all.sh --config $HADOOP_INSTALL/etc/hadoop_pseudo）
(--config $HADOOP_INSTALL/etc/hadoop_pseuduo 是命令模式携带参数启动伪分布式，如不指定路径，则默认启动单机模式)
(通过配置环境变量，不用写--config $HADOOP_INSTALL/etc/hadoop_pseudo,export HADOOP_CONF_DIR=$HADOOP_INSTALL/etc/pseudo）
8.查看启动状态
1) jps
2) http://localhost:9870 名称节点