Haoop集群搭建【一】--伪分布式集群与eclipse的安装
Ⅰ 前言
最近由于硬盘垃圾文件太多,图方便直接恢复出厂清空了所有盘文件,想着重装一次虚拟机可以顺便写一个安装心得还有教程,于是写了包括本文的接下来几个博客,该系列博客将会手把手搭建hadoop集群及其常用组件,记录全过程并指出部分常见错误
Ⅱ 搭建虚拟机准备(附带下载链接)
我们首先需要准备一些基本的软件用于搭建集群
一.VMware
VMware Workstation(中文名“威睿工作站”)是一款功能强大的桌面虚拟计算机软件,提供用户可在单一的桌面上同时运行不同的操作系统.我们需要下载这个平台用于搭建虚拟机,在下面链接中下载完成后自行安装好。
(以下给出下载链接)
VMware Station pro 16.0.0 下载链接
密码:zccy
至于激活码,搜索一下,网上一大把都可以随便用(我的链接中的虚拟机版本是16.0,激活版本别搞错了)
二.终端模拟器及文件传输软件
我们还需要一个终端模拟器和文件传输软件来进行对虚拟机的控制和文件传输,这里我们使用Xmanager,他包含一组工具,其中含有Xshell(模拟器)和Xftp(传输软件),此处要是有自己习惯的软件的话也可以使用自己喜欢的,安装即可,一样的,下面给出链接,
Xmanager下载链接
密码:zccy
1,解压压缩包
2、注册码.txt中获取序列号。双击运行Xme5.exe,进行安装
三.虚拟机镜像
我们还需要为虚拟机准备系统镜像,这里选用适合初学者的centos7(linux)
Centos7镜像下载地址
密码:zccy
四.相关组件
hadoop生态圈还有很多的组件。例如Spark,Hbase,hive等等,因为篇幅问题,这些软件在此处不介绍,给出下载链接,具体的安装教程将会在之后的博客给出,(本文需要使用链接中的hadoop,jdk,eclipse,hadoop-eclipse-plugin-2.7.7.jar (eclipse插件))
集群组件下载链接
密码:zccy
Ⅲ.集群安装与配置教程
一,创建虚拟机
创建虚拟机—>选择典型—>下一步
选择稍后安装—>点击下一步
选择Linux—>版本选择Centos(7) 64位—>点击下一步
修改名称—>选择存储路径—>下一步
默认配置即可
完成虚拟机创建,此步可以自定义硬件(虚拟机的内存可根据自身计算机的配置自行分配,一般使用默认即可)
二,安装Centos7
先挂载镜像
开启虚拟机
选择Install Centos7
一段时间的加载后,进入语言选择界面,选择自己喜欢的语言,再点击继续
选择安装软件
选择KDE可视化界面(推荐,要是喜欢在命令行敲代码也可以选其他的)
选择自动分区—>开始安装
可以在等待时间里设置一下root密码和hadoop账户,完成后点击重启即可
常见问题
三,虚拟机网络配置(通过环回适配器)
如图,使用root用户登陆虚拟机
本地物理机网络配置
特别提醒,这里操作的是你自己的电脑,不是虚拟机,打开自己电脑的计算机管理,如图所示点击,
选择添加过时硬件
下一步
选择网络适配器
选择厂商为Microsoft,选择型号为KM-TEST环回适配器
没有的话也可能这个
连续点击几个下一步,然后完成。
接下来打开“控制面板\网络和 Internet\网络连接”
找到刚刚添加的环回适配器,然后进行如下操作
虚拟机网络配置
如图,在VMware中打开虚拟网络编辑器
选择更改设置
添加一个VMnet2(没有的话)
将新建的VMnet2连接到KM回环适配器上
然后修改一下虚拟机的网络属性
修改网络链接,确认保存后重启虚拟机