hadoop 升级

本文介绍如何从旧版本平滑升级到Hadoop 2.4.1版本,包括停用HDFS、备份配置文件及元数据、修改核心配置文件等内容,并提供了启动服务和验证升级成功的步骤。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1.停掉HDFS,备份关键数据
2.需要备份的数据主要包括
  配置文件:${hadoop_home}/conf目录下的所有配置文件
  元数据文件:配置文件hdfs-site.xml中的属性“dfs.name.dir”指定的目录下的文件

3.下载最新稳定版的hadoop 2.4.1版本,并解压到与现有hadoop同级的目录下。
  说明:旧版的配置文件备份成功后,就不再需要和旧版的hadoop打交道了,下面的所有操作都是在新版的hadoop目录下进行的。    

4. 修改配置文件:
core-site.xml
<configuration>
   <property>
         <name>fs.default.name</name>
         <value>hdfs://192.168.16.241:9000</value>
   </property>

    <property>
        <name>hadoop.tmp.dir</name>
        <value>/disk_c1/hadoop_base2/tmp</value>
        <final>true</final>
    </property>

    <property>
        <name>fs.trash.root</name>
        <value>/disk_c1/hadoop_base2/tmp/Trash</value>
    </property>
    <property>
        <name>io.compression.codecs</name>
        <value>org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.BZip2Codec,com.hadoop.compression.lzo.LzopCodec</value>
    </property>

    <property>
        <name>io.compression.codec.lzo.class</name>
        <value>com.hadoop.compression.lzo.LzoCodec</value>
    </property>
</configuration>

hdfs-site.xml
<configuration>
     <property>
         <name>dfs.replication</name>
         <value>1</value>
     </property>

    <property>
        <name>dfs.name.dir</name>
        <value>/disk_c1/hadoop_base2/hdfs/name</value>
        <final>true</final>
    </property>

    <property>
        <name>dfs.data.dir</name>
        <value>/disk_c1/hadoop_base2/hdfs/data</value>
        <final>true</final>
    </property>

</configuration>

yarn-site.xml
<configuration>

<!-- Site specific YARN configuration properties -->
  <property>
     <name>yarn.nodemanager.aux-services</name>
     <value>mapreduce_shuffle</value>
  </property>
  <property>
     <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
     <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>
</configuration>

mapred-site.xml
<configuration>
    <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
    </property>
</configuration>

  设定hadoop-env.sh中的JAVA_HOME变量

5.进行HDFS升级:sbin/start-dfs.sh –upgrade
6.确定升级成功,可以使用:bin/hadoop dfsadmin –finalizeUpgrade 最终提交升级
7.至此HDFS升级已经完成,MapReduce无需升级,只需要将原有的代码用2.4.1版本重新编译即可。
8.启动Yarn服务: sbin/start-yarn.sh
9.下面可以通过hadoop自带的例子验证安装是否正确。
10.在hadoop-2.4.1的根目录下执行:

  $mkdir input
  $ cp etc/hadoop/*.xml input
  $ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.4.1.jar grep input output 'dfs[a-z.]+'
  $ cat output/*   //如果文件中有内容,则认为升级成功.
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值