02_单节点安装

最新推荐文章于 2024-10-20 15:32:30 发布

iteye_10913

最新推荐文章于 2024-10-20 15:32:30 发布

阅读量96

点赞数

CC 4.0 BY-SA版权

分类专栏： hadoop 文章标签： 02_单节点安装

本文链接：https://blog.youkuaiyun.com/iteye_10913/article/details/82616732

hadoop 专栏收录该内容

13 篇文章

订阅专栏

本文详细介绍Hadoop在伪分布模式下的安装步骤，包括环境配置、JDK安装、Hadoop安装及配置等关键环节，并提供了每一步骤的验证方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.hadoop的伪分布安装 hadoop-1.2.0
1.1 设置ip地址
    执行命令    service network restart
    验证:    ifconfig
1.2 关闭防火墙
    执行命令    service iptables stop
    验证:        service iptables status
1.3    关闭防火墙的自动运行
    执行命令    chkconfig iptables off
    验证:        chkconfig --list | grep iptables
1.4 设置主机名
    执行命令    (1)hostname chaoren
                (2)vi /etc/sysconfig/network
1.5 ip与hostname绑定
    执行命令    vi /etc/hosts
    验证:        ping chaoren
1.6 设置ssh免密码登陆
    执行命令    (1)ssh-keygen -t rsa
                (2)cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
    验证：        ssh chaoren
1.7 安装jdk
    执行命令    (1)cd /usr/local
                (2)chmod u+x jdk-6u24-linux-i586.bin
                (3)./jdk-6u24-linux-i586.bin
                (4)mv jdk1.6.0_24 jdk
                (5)vi /etc/profile 增加内容如下:
                                export JAVA_HOME=/usr/local/jdk
                                export PATH=.:$JAVA_HOME/bin:$PATH
                (6)source /etc/profile
    验证:    java -version
1.8 安装hadoop
    执行命令    (1)tar -zxvf hadoop-1.1.2.tar.gz
                (2)mv hadoop-1.1.2 hadoop
                (3)vi /etc/profile 增加内容如下:
                                export JAVA_HOME=/usr/local/jdk
                                export HADOOP_HOME=/usr/local/hadoop
                                export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
                (4)source /etc/profile
                (5)修改conf目录下的配置文件hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml
                (6)hadoop namenode -format
                (7)start-all.sh
    验证:    (1)执行命令jps 如果看到5个新的java进程，分别是NameNode、SecondaryNameNode、DataNode、JobTracker、TaskTracker
            (2)在浏览器查看，http://chaoren:50070 http://chaoren:50030
1.9 启动时没有NameNode的可能原因:
    (1)没有格式化
    (2)环境变量设置错误
    (3)ip与hostname绑定失败

=====================================接上
1.hadoop-env.sh
export JAVA_HOME=/usr/local/jdk/

2.core-site.xml
<configuration>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://hadoop0:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop/tmp</value>
    </property>
</configuration>

3.hdfs-site.xml
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.permissions</name>
        <value>false</value>
    </property>
</configuration>

4.mapred-site.xml
<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>hadoop0:9001</value>
    </property>
</configuration>