Hadoop伪分布式安装

伟仔NJ

已于 2022-05-11 21:17:59 修改

阅读量662

点赞数

分类专栏： BigData 文章标签： hadoop

于 2018-07-27 14:15:54 首次发布

本文链接：https://blog.youkuaiyun.com/twypx/article/details/81236403

版权

本文详述了Hadoop的伪分布式安装步骤，包括部署安装包、配置环境变量、JAVA_HOME设置、HDFS和YARN的配置及启动。此外，还介绍了如何测试上传下载、运行MapReduce实例以及解决安装过程中的常见问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

部署安装包

wget http://mirrors.shu.edu.cn/apache/hadoop/common/hadoop-2.9.1/hadoop-2.9.1.tar.gz
tar xzvf hadoop-2.9.1.tar.gz
mv hadoop-2.9.1.tar.gz /usr/local/hadoop

配置环境变量

vi /etc/profile

添加如下内容：

# hadoop
export HADOOP_HOME=/usr/local/hadoop
export $HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

source /etc/profile

配置JAVA_HOME

需要配置的文件包括 /usr/local/hadoop/etc/hadoop 目录下的 hadoop-env.sh 、mapred-env.sh 、yarn-env.sh 三个文件。

vi hadoop-env.sh
# 输入/修改以下内容
export JAVA_HOME=/usr/local/jdk

该步骤不能省，也不能使用 export JAVA_HOME=${JAVA_HOME} ，否则后面会报找不到JAVA_HOME的错误。

配置core-site.xml

cd /usr/local/hadoop/etc/hadoop
vi core-site.xml

<configuration>
    # 配置HDFS的地址
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:8020</value>
    </property>
    # 配置临时目录，比如HDFS的NameNode数据默认都存放这个目录下
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop/data/tmp<

最低0.47元/天解锁文章