hadoop-2.2.0安装配置

最新推荐文章于 2024-06-02 17:14:35 发布
最新推荐文章于 2024-06-02 17:14:35 发布
阅读量4k 收藏 2
点赞数
CC 4.0 BY-SA版权
分类专栏： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/iloveyin/article/details/20143963
本文详细介绍了如何在18台机器上搭建Hadoop 2.2.0集群，包括JDK的安装、SSH密钥配置、Hadoop环境设置、配置文件管理以及守护进程的启动和管理。特别强调了namenode和datanode的部署顺序，以及通过rsync同步配置文件的方法。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

18台机器：1台namenode+17台datanode

！！！配置hadoop时候先部署namenode，再利用rsync把hadoop目录同步到所有的datanode上面！！！


1. 安装JDK：

  • mkdir -p /usr/local/java; 
  • wget http://100.100.144.187/jdk-7u51-linux-x64.gz;
  • tar xzvf jdk-7u51-linux-x64.gz -C /usr/local/java;                    
  • rm -f jdk-7u51-linux-x64.gz; 
最终/etc/profile加上以下内容：

export JAVA_HOME=/usr/local/java/jdk1.7.0_51
export CLASSPATH=${JAVA_HOME}/lib/dt.jar:${JAVA_HOME}/lib/tool.jar:${JAVA_HOME}/jre/lib/rt.jar:.
export HADOOP_HOME=/data/hadoop/hadoop-2.6.0
export HADOOP_MAPRED_HOME=${HADOOP_HOME}
export HADOOP_COMMON_HOME=${HADOOP_HOME}
export HADOOP_HDFS_HOME=${HADOOP_HOME}
export YARN_HOME=${HADOOP_HOME}
# Native Path
export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_HOME}/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_COMMON_LIB_NATIVE_DIR"
export MAVEN_HOME=/usr/local/apache-maven-3.2.1
export ANT_HOME=/usr/local/apache-ant-1.9.4
export PATH=${JAVA_HOME}/bin:$ANT_HOME/bin:$MAVEN_HOME/bin:${HADOOP_HOME}/bin/:${HADOOP_HOME}/sbin/:$PATH


2. 设置SSH免密码：

  • ssh-keygen -t  rsa 之后一路回 车（产生秘钥）
  • 把id_rsa.pub 追加到授权的 key 里面去（cat id_rsa.pub >> authorized_keys）
  • 重启 SSH 服 务命令使其生效 :service sshd restart

3. 设置hosts:修改/etc/hosts 文件
ip1 namenode-0
ip2 datanode-0
...
ip18 datanode-17
4. 关闭防火墙：
  • service iptables stop;
  • chkconfig iptables off;
5. 修改hadoop配置文件(/data/hadoop/hadoop-2.2.0/etc/hadoop)：
5.1 修改hadoop-env.sh(记录脚本要用的环境变量)：export JAVA_HOME=/usr/local/java/jdk1.7.0_51
5.2 修改yarn-env.sh()：export JAVA_HOME=/usr/local/java/jdk1.7.0_51
5.3 修改slaves: 把datanode-0到datanode-17加入到slaves
5.4 修改core-site.xml(Hadoop核心配置项)
<configuration>
	<property>
         <name>fs.defaultFS</name>
         <value>hdfs://namenode-0:9000</value>
    </property>

    <property>
         <name>io.file.buffer.size</name>
         <value>131072</value>
    </property>

    <property>
         <name>hadoop.tmp.dir</name>
         <value>file:/home/hadoop/temp</value>
         <description>Abase for other temporary directories.</description>
    </property>

    <property>
         <name>hadoop.native.lib</name>
         <value>true</value>
         <description>Should native hadoop libraries, if present, be used.</description>
    </property>

    <property>
         <name>hadoop.proxyuser.hadoop.hosts</name>
         <value>*</value>
    </property>

    <property>
         <name>hadoop.proxyuser.hadoop.groups</name>
         <value>*</value>
    </property>
    <property> 
   	 <name>fs.checkpoint.period</name> 
   	 <value>3600</value> 
    	 <description>The number of seconds between two periodic checkpoints. </description> 
    </property> 
    <property> 
    	<name>fs.checkpoint.size</name> 
    	<value>67108864</value> 
    	<description>The size of the current edit log (in bytes) that triggers a periodic checkpoint even if the fs.checkpoint.period hasn't expired. </description> 
    </property> 

    <property> 
 	<name>fs.checkpoint.dir</name> 
 	<value>file:/home/hadoop/dfs/namesecondary</value> 
	<description>Determines where on the local filesystem the DFS secondary name node should store the temporary images to merge. If this is a comma-delimited list of directories then the image is replicated in all of the directories for redundancy. </description> 
    </property>
</configuration>
5.5 修改hdfs-site.xml(Hadoop守护进程配置项，例如namenode，secondarynamenode和datanode等)
<configuration>
    <property>
	<name>dfs.namenode.secondary.http-address</name>
        <value>namenode-0:9001</value>
    </property>

    <property>
	<name>dfs.namenode.name.dir</name>
	<value>file:/home/hadoop/dfs/name</value>
    </property>

    <property>
	<name>dfs.datanode.data.dir</name>
	<value>file:/home/hadoop/dfs/data</value>
    </property>

    <property>
	    <name>dfs.replication</name>
	    <value>1</value>
    </property>

    <property>
	    <name>dfs.webhdfs.enabled</name>
	    <value>true</value>
    </property>
</configuration>
5.6 修改mapred-site.xml(MapReduce守护进程配置项，包括jobtracker和tasktracker。)
<configuration>
    <property>
    	<name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>

    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>namenode-0:10020</value>
    </property>

    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>namenode-0:19888</value>
    </property>

    <property>
    	<name>dfs.permissions</name>
        <value>false</value>
    </property>

    <property>
        <name>mapreduce.map.memory.mb</name>
        <value>4000</value>
    </property>

    <property>
        <name>mapreduce.reduce.memory.mb</name>
        <value>2000</value>
    </property>

    <property>
        <name>mapreduce.map.java.opts</name>
        <value>-Xmx4000m</value>
    </property>

    <property>
        <name>mapreduce.reduce.java.opts</name>
        <value>-Xmx2000m</value>
    </property>
</configuration>
5.7 修改yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
    <property>
	<name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>

    <property>
        <name>yarn.resourcemanager.address</name>
        <value>namenode-0:8032</value>
    </property>

    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>namenode-0:8030</value>
    </property>

    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>namenode-0:8031</value>
    </property>

    <property>
        <name>yarn.resourcemanager.admin.address</name>
        <value>namenode-0:8033</value>
    </property>

    <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>namenode-0:8088</value>
    </property> 

    <property>  
        <name>yarn.log-aggregation-enable</name>  
        <value>true</value>  
    </property>
    
    <property>
        <name>yarn.log.server.url</name>
        <value>http://namenode-0:19888/jobhistory/logs/</value>
    </property>

    <!--    
    <property>
        <name>yarn.nodemanager.docker-container-executor.exec-name</name>
        <value>/usr/bin/docker</value>
    </property>

    <property>
        <name>yarn.nodemanager.container-executor.class</name>
        <value>org.apache.hadoop.yarn.server.nodemanager.DockerContainerExecutor</value>
    </property>
    -->
</configuration>


6. 启动验证：
  • 格式化namenode：hdfs namenode -format
  • 在namenode上面启动hadoop集群：start-all.sh；
  • 在namenode执行jps命令可以看到：
  • 在datanode执行jps命令，可以看到：

常用配置文件：
  • hadoop-env.sh：记录脚本要用的环境变量。
  • core-site.xml：Hadoop核心配置项
  • hdfs-site.xml：Hadoop守护进程配置项，例如namenode，secondarynamenode和datanode等。
  • mapred-site.xml：MapReduce守护进程配置项，包括jobtracker和tasktracker。
  • master：运行secondarynamenode（而不是namenode）的机器列表（每行一个）。只在namenode或jobtracker节点上使用，无需同步到各节点。
  • slave：运行datanode和tasktracker的机器列表（每行一个）。只在namenode或jobtracker节点上使用，无需同步到各节点。

1. 配置管理

hadoop支持为所有的节点采用同一套配置文件，这样管理会变得非常简单，不过这对于某些集群来说并不适合。例如在扩展集群时，如果新机器的硬件和现有机器不同，则需要为新机器创建一套新的配置文件，以充分利用新硬件资源。所以，非常推荐在每个节点保存一套配置文件，并由管理员完成这些配置文件的同步工作。hadoop提供了一个基本工具来进行同步配置，即rsync。

这种情况下，需要引入“机器类”的概念，为不同的机器类分别维护一套配置文件。不过hadoop并没有提供执行这个操作的工具，需要借助外部工具，例如Chef,Puppet,cfengine和bcfg2等。

2. 控制脚本

  • start-dfs.sh：在本地节点启动namenode，在slave文件指定的每个节点启动datanode，在master文件指定的每个节点启动secondarynamenode
  • start-mapred.sh：在本地节点启动jobtracker，在slave文件指定的每个节点启动tasktracker。
  • start-all.sh：依次调用start-dfs.sh和start-mapred.sh
  • stop-dfs.sh/stop-mapred.sh/stop-all.sh：前面的start脚本对应的关闭脚本。
  • hadoop-daemon.sh：上述脚本调用它来执行启动和终止hadoop守护进程。如果用户需要从其他系统或自己编写脚本控制hadoop守护进程，可以调用它。
  • hadoop-daemons.sh：用于在多个主机上启动同一hadoop守护进程。

3. 守护进程管理

对于小型集群（几十个节点），可以将namenode、secondarynamenode、jobtracker放到单独一台机器上，但对于大型集群，最好分别放到不同的机器上。

  • namenode：在内存中保存整个命名空间的所有文件和块元数据，它的内存需求很大。
  • secondnamenode：保存一份最新的检查点，记录文件系统的元数据，有助于在数据丢失或系统崩溃时恢复namenode的元数据；它在大多时候空闲，但它创建检查时的内存需求和namenode差不多。一旦文件系统包含大量文件，单台主机可能无法同时运行namenode和secondarynamenode。
  • jobtracker：在一个运行大量mapreduce作业的高负载集群上，jobtracker会使用大量内存和CPU资源，因此它最好运行在一个专用节点上。


浏览文件夹：hadoop fs -ls hdfs://192.168.1.201:9000/ 
创建文件夹：hadoop fs -mkdir hdfs://192.168.1.201:9000/testfolder 
拷贝文件到hadoop：hadoop fs -copyFromLocal ./xxxx hdfs://192.168.1.201:9000/testfolder 


如果想要看mapreduce跑的历史记录，请打开history server: mr-jobhistory-daemon.sh   start historyserver
hadoop在浏览器端口查看日志
段一的博客
05-13 1890
hadoop在浏览器端口查看日志，需要开启historyserver服务，其默认关闭，是一个独立的服务，网页查看端口号默认：19888，可在yarn-site.xml中配置，配置完后将配置文件复制到其他节点上。 mapred-site.xml <property> <name>mapreduce.jobhistory.address</name> <value>newmaster:10020</value> .
配置日志的聚集
qq_36055407的博客
07-16 471
日志聚集概念：应用运行完成以后，将程序运行日志信息上传到HDFS系统上。 日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。 注意：开启日志聚集功能，需要重新启动NodeManager 、ResourceManager和HistoryManager。 开启日志聚集功能具体步骤如下： 1.配置yarn-site.xml 在该文件里面增加如下配置。 <!-- 日志聚集功...
通过yarn提交任务出现Failed while trying to construct the redirect url to the log server. Log Server url may
sxj的专栏
12-31 6296
1、在通过yarn-client模式提交任务时，打开http://master:8088/网页出现如下错误： Failed while trying to construct the redirect url to the log server. Log Server url may not be configured java.lang.Exception: Unknown containe...
如何启用和配置YARN
m0_53157282的博客
09-26 2096
Apache Hadoop的YARN（Yet Another Resource Negotiator）是一个集群资源管理器，用于分配和管理集群中的资源。本文将介绍如何启用和配置YARN。
Hadoop入门
qq_41116027的博客
04-12 300
Hadoop入门 一、概念 二、环境准备 三、Hadoop生产集群搭建 一、概念 1.1、Hadoop是什么 Hadoop 是一个由Apache基金会所开发的分布式系统基础架构 。 主要解决海量数据的存储和海量数据的分析计算问题 广义上来说，Hadoop 通常是指一个更广泛的概念———Hadoop生态圈(HBase、Hive等) 1.2 、Hadoop发展历史 Hadoop创始人 Doug Cutting ，为了实现与 Google类似的全文搜索功能，在Lucene框架基础上进行优化升级，查询引擎
hadoop-common-2.2.0-bin-master.zip
04-30
hadoop-common-2.2.0-bin-master(包含windows端开发Hadoop和Spark需要的winutils.exe),Windows下IDEA开发Hadoop和Spark程序会报错，原因是因为如果本机操作系统是windows，在程序中使用了hadoop相关的东西，比如写入...
hadoop-common-2.2.0-bin-master
02-05
在Windows环境下部署Hadoop Common 2.2.0，需要设置环境变量、配置Hadoop配置文件（如core-site.xml、hdfs-site.xml等），并确保Java环境已安装。此外，还需要对Hadoop目录结构有清晰的理解，如bin、sbin、lib等目录...
hadoop-eclipse-plugin-2.2.0.zip
04-19
在Eclipse的“Window”菜单中选择“Preferences”，在弹出的对话框中可以看到新增的Hadoop配置选项，用户可以在这里设置Hadoop集群的相关参数，如Hadoop的安装路径、JobTracker和NameNode的地址等。 在实际开发过程...
hadoop-common-2.2.0-bin
09-30
这个错误通常是因为Eclipse找不到Hadoop的可执行文件，这可能是由于环境变量配置不正确或者Hadoop安装路径没有正确设置。要解决这个问题，开发者需要确保Hadoop的bin目录已经被添加到系统的PATH环境变量中，这样...
hadoop-2.2.0-x64.tar.gz
01-13
安装Hadoop 2.2.0的步骤大致如下： 1. 将"hadoop-2.2.0-x64.tar.gz"解压到Linux服务器的适当位置。 2. 配置环境变量，如`HADOOP_HOME`，并将`bin`目录添加到`PATH`中。 3. 修改配置文件，如设置HDFS的命名节点...
yarn日志聚合historyserver参数汇总
sunxunyong的博客
07-21 948
1）yarn.log-aggregation-enable： 是否开启日志聚合。日志聚合会在应用程序完成后收集每个容器的日志，并将这些日志移动到文件系统中，例如 HDFS。 用户可以配置“yarn.nodemanager.remote-app-log-dir”和“ yarn.nodemanager.remote-app-log-dir-suffix”属性来确定将这些日志移至何处。 用户可以通过Application Timeline Server访问日志。 yarn.log-aggregation-en
【大数据】Hadoop开启Yarn的日志监控功能
互联网小阿祥
02-14 2367
Hadoop开启Yarn的日志监控功能
​ yarn通过日志聚合将作业日志存储在HDFS中
libaowenBlog的博客
08-13 1530
背景：如图所示：为了从Tracking_UI中history界面中直接查看运行日志或是通过yarn logs查看日志命令，需要进行如下配置图1。
Hadoop3.1.3配置日志聚集
zhongmingyu
03-01 230
6、执行wordcount,输出到/output2。在该文件里面增加如下配置。
Hadoop入门学习笔记——四、MapReduce的框架配置和YARN的部署
faith306
12-23 2848
hdfs://8020/output/wc 表示参数2，在本程序中是统计结果输出的文件夹，这里写明了hdfs协议头，指明了是HDFS文件系统的路径（经测试，不写也可以，默认读取HDFS文件系统路径），hdfs://node1:8020/input/ 表示参数1，在本程序中是待统计的文件夹，这里写了hdfs协议头，指明了是HDFS文件系统的路径（经测试，不写也可以，默认读取HDFS文件系统路径）；mapreduce.map.env 表示Map HOME的路径，这里设置为HADOOP_HOME相同路径；
YARN 聚合日志配置
duyenson的博客
07-22 4951
1、 日志聚集介绍 MapReduce 是在各个机器上运行的， 在运行过程中产生的日志存在于各个机器上，为了能够统一查看各个机器的运行日志，将日志集中存放在 HDFS 上， 这个过程就是日志聚集。如果打开了日志聚合的选项，即yarn.log-aggregation-enable，container的日志会拷贝到hdfs上去，并从机器中删除。可以使用yarn logs -applicationId 命令，来查看日志yarn logs命令，会打印出application对应的所有container的日志出来，当
【Yarn】YARN 聚合日志配置
最新发布
九师兄
06-02 560
MapReduce 是在各个机器上运行的， 在运行过程中产生的日志存在于各个机器上，为了能够统一查看各个机器的运行日志，将日志集中存放在 HDFS 上， 这个过程就是日志聚集。如果打开了日志聚合的选项，即，container的日志会拷贝到hdfs上去，并从机器中删除。
spark 查看yarn日志_spark on yarn日志配置及webUI界面日志查看
weixin_32980943的博客
12-30 2029
spark 在standalone模式查看日志很方便，直接在8080端口的webui查看很方便，spark on yarn 只能在8088端口查看，而且只能在 application列表点击 Tracking UI applicationMaster查看当前运行的application日志那要看历史日志需要作以下配置：1.yarn-site.xmlyarn.log-aggregation-enab...
Flink配置Yarn日志聚合、配置历史日志。
myself_ning的博客
06-29 6396
yarn容器退出之后，默认是不保存日志的。所以需要开启JobHistoryServer. 无论Flink还是Spark都支持自建集群(standalone cluster)。但是为了保证稳定性和资源隔离等，生产环境里的任务最好借助资源管理框架(如Yarn)运行。 任务运行在yarn上，查询日志就可能不是很方便，尤其是任务进程异常退出之后。 ..................
测试可用的Hadoop-2.2.0 64位版本下载
对于一个64位的Hadoop-2.2.0，安装和配置过程中需要确保操作系统兼容64位架构，并且安装了相应的64位版本的Java环境。用户可以通过下载hadoop-2.2.0的压缩包进行安装。安装完成后，需要配置多个文件，如core-site....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值