大数据集群环境准备

大数据集群准备步骤

1 准备三台服务器出来 配置主机名，主机和ip对应关系 node01 node02 node03
2 关闭三台服务器防火墙 设置开机不自启动
3 关闭三台服务器selinux 设置disabled
4 给三台服务器安装jdk1.8 安装目录为/export/servers
5 设置三台服务器免密码登录
6 上传编译好的hadoop压缩包到主节点的/export/soft目录下面
执行压缩到/export/servers目录下
先更改一下包名
mv hadoop-2.6.0-cdh5.14.0-自己编译后的版本.tar.gz hadoop-2.6.0- cdh5.14.0.tar.gz
压缩命令
tar -zxvf hadoop-2.6.0-cdh5.14.0.tar.gz -C …/servers/
7 查看 hadoop支持的压缩方式以及本地库
主节点在/export/servers/hadoop-2.6.0-cdh5.14.0目录下执行以下命令
bin/hadoop checknative

执行下面命令进行安装openssl
yum -y install openssl-devel

8 修改hadoop核心配置 文件
执行 cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop 切换目录

执行命令修改配置文件 vim core-site.xml


fs.defaultFS
hdfs://node01:8020


hadoop.tmp.dir
/export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas



io.file.buffer.size
4096

<!--  开启hdfs的垃圾桶机制，删除掉的数据可以从垃圾桶中回收，单位分钟 -->
<property>
    <name>fs.trash.interval</name>
    <value>10080</value>
</property>

修改hdfs-site.xml
vim hdfs-site.xml


<!-- 集群动态上下线

dfs.hosts
/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/accept_host

<property>
    <name>dfs.hosts.exclude</name>
    <value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/deny_host</value>
</property>
 -->
 
 <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>node01:50090</value>
</property>

<property>
    <name>dfs.namenode.http-address</name>
    <value>node01:50070</value>
</property>
<property>
    <name>dfs.namenode.name.dir</name>
    <value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas</value>
</property>
<!--  定义dataNode数据存储的节点位置，实际工作中，一般先确定磁盘的挂载目录，然后多个目录用，进行分割  -->
<property>
    <name>dfs.datanode.data.dir</name>
    <value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas</value>
</property>

<property>
    <name>dfs.namenode.edits.dir</name>
    <value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits</value>
</property>
<property>
    <name>dfs.namenode.checkpoint.dir</name>
    <value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name</value>
</property>
<property>
    <name>dfs.namenode.checkpoint.edits.dir</name>
    <value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits</value>
</property>
<property>
    <name>dfs.replication</name>
    <value>2</value>
</property>
<property>
    <name>dfs.permissions</name>
    <value>false</value>
</property>

dfs.blocksize 134217728

修改Hadoop-env.sh
vim hadoop-env.sh
export JAVA_HOME=/export/servers/jdk1.8.0_141

修改mapred-site.xml
此时目录下面没有mapred-site.xml 这个文件 只有mapred-site.xml.template
需要执行 cp mapred-site.xml.template mapred-site.xml 命令
vim mapred-site.xml


mapreduce.framework.name
yarn

<property>
    <name>mapreduce.job.ubertask.enable</name>
    <value>true</value>
</property>

<property>
    <name>mapreduce.jobhistory.address</name>
    <value>node01:10020</value>
</property>

<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>node01:19888</value>
</property>

修改yarn-site.xml
vim yarn-site.xml


yarn.resourcemanager.hostname
node01


yarn.nodemanager.aux-services
mapreduce_shuffle

修改slaves文件
vim slaves
添加节点进去

9 创建一些文件目录
主节点执行
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits

10 安装包分发
主节点执行负责
cd /export/servers/
scp -r hadoop-2.6.0-cdh5.14.0/ node02:$PWDscp-rhadoop-2.6.0-cdh5.14.0/node03:$PWD

11 配置hadoop环境变量
简便方法 把/etc/profile,.d/下面的java.sh 拷贝一份更改为hadoop.sh
更改一下里面配置路径即可
配置完毕执行 source/etc/profile
12 集群启动
第一次启动需要在主节点格式化 集群
bin/hdfs namenode -format
一键启动所有集群
sbin/start-all.sh
在主节点输入jps

出现此图代表启动成功
去从节点jps

此图代表成功

hdfs集群访问地址： http://192.168.52.100:50070/dfshealth.html#tab-overview

yarn集群访问地址： http://192.168.52.100:8088/cluster