大数据集群的搭建__准备工作

一、首先我们要明确自己的虚拟机或者服务器的系统
查看虚拟机的操作系统
uname -a(getconf LONG_BIT)
如果显示i686,你安装了32位操作系统
如果显示 x86_64，你安装了64位操作系统
我的三台机器系统是都是CentOS7 64位的。
二、集群的搭建都需要那些工具，以及工具之间的兼容性
1、首先需要确定的是你安装的工具之间的兼容问题。
https://hbase.apache.org/book.html#basic.prerequisites
2、下载对应的工具
http://mirror.bit.edu.cn/apache/
3、我下载的工具以及对应的版本如下（我下载的是.tar.jz文件）
zookeeper版本：3.4.12
hadoop版本：2.7.6
HBase版本：2.0.0
Spark版本:2.2.0 scala2.1.8 spark自带的
4、在root目录下创建software文件夹，将下载的工具全部放入其中(直接将下载好的工具拖放进去即可。注意：只在主节点（你随便选一台机器）上操作即可）
cd /root/
mkdir sofwware
cd /root/software/
将文件放入这个目录
将文件解压
tar -xvf zookeeper-3.4.12.tar.gz
tar -xvf hadoop-2.7.6.tar.gz
tar -xvf hbase-2.0.0-bin.tar.gz
tar -xvf spark-2.2.1-bin-hadoop2.7.tgz
三、准备工作
1、修改主机名（每台机器不同的名字，搭建集群之前自己先设计好了
vim /etc/sysconfig/network
我的修改内容如下
HOSTNAME=server
修改主机名语法：hostnamectl set-hostname 主机名（CentOS 7命令）
查看主机名： hostname
之后修改另外两台机器
三台主机名分别为 server agent1 agent2
2、修改hosts文件（每个节点都要操作）
vim /etc/hosts
我的修改内容如下
172.24.20.225 server
172.24.20.224 agent1
172.24.20.223 agent2
3、配置机器之间免密登录
a、生成对应的私钥公钥对
ssh-keygen -t rsa 注意：此处一直回车即可
查看生成公钥
cat /root/.ssh/id_rsa.pub
authorized_keys:存放远程免密登录的公钥,主要通过这个文件记录多台机器的公钥
　　 id_rsa : 生成的私钥文件
　　 id_rsa.pub ： 生成的公钥文件
　　 know_hosts : 已知的主机公钥清单
　　 b、追加公钥
　　 将server中的公钥追加到/root/.ssh/authorized_keys
　　 cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
　　 通过scp命令将agent1，agent2，中的公钥放到server中，然后追加到authorized_keys中（）
　　 scp /root/.ssh/id_rsa.pub root@172.24.20.225:/root
注意：如果文件不存在就手动创建一个文件：touch 文件名
c、authorized_keys 权限为600
chmod 600 /root/.ssh/authorized_keys （此处很关键，如果不成功，可多次执行该命令）
d、将追加好的自动登录的公钥发送到其他的节点上
scp /root/.ssh/authorized_keys agent1:/root/.ssh/
scp agent2:/root/.ssh/
e、测试
ssh agent1（不用输入密码就可以登录表示成功，也就是集群之间可以随便的我那个路不用输入密码）
四、安装JDK
http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html（注意：一定要下载对应的版本）
将下载的jdk解压
tar -xvf jdk-8u171-linux-x64.tar.gz
配置环境变量
vim /etc/profile
在文件的末尾添加以下内容
#set JAVA environment
export JAVA_HOME=/root/software/java/jdk1.8_171
export JRE_HOME=$JAV{A}_{H}OME/jreexportCLASSPATH=.:${JAVA_HOME}/lib:$jr{e}_{H}OME/libexportPATH=${JAVA_HOME}/bin:$JR{E}_{H}OME/bin:$PATH
让其立即生效
source /etc/profile
检测是否成功安装jdk
java -version
出现如下信息代表成功安装
java version “1.8.0_171”
Java™ SE Runtime Environment (build 1.8.0_171-b11)
Java HotSpot™ 64-Bit Server VM (build 25.171-b11, mixed mode)；
最后有什么问题可以关注我的公众号，里边会一直更新java和大数据的知识：有时间我会尽自己的最大可能帮助你解决问题：