安装Hadoop

  本章节为安装Hadoop的前言说明,包括解压Hadoop压缩包和Hadoop配置文件介绍。(在搭建hadoop开发环境的时,配置的参数非常多,要怎么设定才能达到最好的效能是一件头痛的事)
   5.2.1 修改hadoop-env.sh配置文件(一)
   5.2.2 修改core-site.xml配置文件(二)
   5.2.3 修改hdfs-site.xml配置文件(三)
   5.2.4 修改mapred-site.xml配置文件 (四)
   5.2.5 修改yarn-site.xml配置文件(五)
   5.2.6 配置hadoop环境变量
   5.2.7 配置slave
    
  在安装Hadoop之前,接着4.2 FileZilla使用方法的要求,先解压Hadoop压缩包到指定文件下

解压前路径解压后路径
/opt/Hadoop_softwarepackage//Myhadoop/Hadoop-2.7.4/
1.解压

asdfasdf
  被水印遮挡的代码是

tar -zxf hadoop-2.7.4.tar.gz

  详情的代码讲解请参考安装JDK-第二步:安装JDK的解说

在这里插入图片描述

2.Hadoop配置文件介绍

  在hadoop集群中,需要配置的文件主要包括五个,分别是core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml,这四个文件分别是对不同组件的配置参数:

序号配置文件名配置对象主要内容
1hadoop-env.shhadoop运行环境用来定义hadoop运行环境相关的配置信息
2core-site.xml集群全局参数用于定义系统级别的参数,如HDFS URL 、Hadoop的临时目录等
3hdfs-site.xmlHDFS如名称节点和数据节点的存放位置、文件副本的个数、文件的读取权限等
4mapred-site.xmlMapreduce参数包括JobHistory Server 和应用程序参数两部分,如reduce任务的默认个数、任务所能够使用内存的默认上下限等
5yarn-site.xml集群资源管理系统参数配置ResourceManager ,nodeManager的通信端口,web监控端口等

  现在看不懂这个表格没有关系,下面逐个配置文件我都会重放一次,到时候再学着对应的知识来看。

快速链接

上一篇汇总目录下一篇
 5.1 Hadoop集群概念设计 云计算数据平台-hadoop集群  5.2.1 修改hadoop-env.sh配置文件(一)
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值