本章节为安装Hadoop的前言说明,包括解压Hadoop压缩包和Hadoop配置文件介绍。(在搭建hadoop开发环境的时,配置的参数非常多,要怎么设定才能达到最好的效能是一件头痛的事)
5.2.1 修改hadoop-env.sh配置文件(一)
5.2.2 修改core-site.xml配置文件(二)
5.2.3 修改hdfs-site.xml配置文件(三)
5.2.4 修改mapred-site.xml配置文件 (四)
5.2.5 修改yarn-site.xml配置文件(五)
5.2.6 配置hadoop环境变量
5.2.7 配置slave
在安装Hadoop之前,接着4.2 FileZilla使用方法的要求,先解压Hadoop压缩包到指定文件下
解压前路径 | 解压后路径 |
---|---|
/opt/Hadoop_softwarepackage/ | /Myhadoop/Hadoop-2.7.4/ |
1.解压
被水印遮挡的代码是
tar -zxf hadoop-2.7.4.tar.gz
详情的代码讲解请参考安装JDK-第二步:安装JDK的解说
2.Hadoop配置文件介绍
在hadoop集群中,需要配置的文件主要包括五个,分别是core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml,这四个文件分别是对不同组件的配置参数:
序号 | 配置文件名 | 配置对象 | 主要内容 |
---|---|---|---|
1 | hadoop-env.sh | hadoop运行环境 | 用来定义hadoop运行环境相关的配置信息 |
2 | core-site.xml | 集群全局参数 | 用于定义系统级别的参数,如HDFS URL 、Hadoop的临时目录等 |
3 | hdfs-site.xml | HDFS | 如名称节点和数据节点的存放位置、文件副本的个数、文件的读取权限等 |
4 | mapred-site.xml | Mapreduce参数 | 包括JobHistory Server 和应用程序参数两部分,如reduce任务的默认个数、任务所能够使用内存的默认上下限等 |
5 | yarn-site.xml | 集群资源管理系统参数 | 配置ResourceManager ,nodeManager的通信端口,web监控端口等 |
现在看不懂这个表格没有关系,下面逐个配置文件我都会重放一次,到时候再学着对应的知识来看。
快速链接
上一篇 | 汇总目录 | 下一篇 |
---|---|---|
5.1 Hadoop集群概念设计 | 云计算数据平台-hadoop集群 | 5.2.1 修改hadoop-env.sh配置文件(一) |