CDH版本的hadoop-2.6.0-cdh5.14.0伪集群版搭建

准备工作:

下载CDH的hadoop安装包, 这里选择5.14.0版本

http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.14.0-src.tar.gz

CDH的hadoop的安装包下载下来后, 是没有提供带C程序访问的接口, 所以我们在使用本地库（本地库可以用来做压缩，以及支持C程序等等）的时候就会出问题, 所以我们需要下载src源码进行编译.

CDH的hadoop-2.6.0-cdh5.14.0编译博文链接: https://blog.youkuaiyun.com/weixin_42582592/article/details/83000529

第一步: 上传压缩包并解压

上传编译后的CDH 5.14.0压缩包到第一台机器上, 并解压

查看hadoop支持的压缩方式以及本地库

bin/hadoop checknative 监测native是否可用

如果出现openssl为false，那么所有机器在线安装openssl即可，执行以下命令，虚拟机联网之后就可以在线进行安装了.

yum -y install openssl-devele

安装完成后, 再次检查native, 发现openssl已经可用.

第二步: 修改配置文件

接下来要修改6个配置文件, 我们使用nodepad++提供的Nppftp功能, 连接第一台机器, 找到这个目录

/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop

分别打开以下6个配置文件:

• core-site.xml
• hadoop-env.sh
• hdfs-site.xml
• mapred-site.xml (有可能是mapred-site.xml.template, 修改文件名去掉.template即可)
• slaves
• yarn-site.xml

1. 修改core-site.xml文件

<configuration>
	<!-- hadoop默认访问nameNode元数据的路径 -->
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://node01:8020</value>
	</property>
	<!-- hadoop的临时文件夹位置 -->
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas</value>
	</property>
	<!--  缓冲区大小，根据服务器性能动态调整 -->
	<property>
		<name>io.file.buffer.size</name>
		<value>4096</value>
	</property>
	<!--  开启hdfs的垃圾桶机制，删除掉的数据可以从垃圾桶中回收，单位分钟 -->
	<property>
		<name>fs.trash.interval</name>
		<value>10080</value>
	</property>
</configuration