大数据测试平台搭建

大数据测试平台环境搭建

介质需求

虚拟机:VMware Workstation 10.0.4 build-2249910 大小:491MB
VMware Workstation 10.0.4 build-2249910
操作系统:CentOS-6.5-x86_64-bin-DVD1.iso 大小:4.16GB
CentOS-6.5-x86_64-bin-DVD.iso

一、测试环境搭建

1、虚拟机安装

打开VMware Workstation 10 点击 :’‘下一步 ‘’
在这里插入图片描述
勾选’‘我接受许可协议中的条款(A)’’ 点击 :’'下一步 ‘’
在这里插入图片描述
选取安装目录更改路径 点击: ''下一步 ‘’
在这里插入图片描述
点击: '‘下一步 ‘’
在这里插入图片描述
取消’‘√’'选项 点击 '‘下一步 ‘’
在这里插入图片描述
点击 :’'下一步 ‘’
在这里插入图片描述
点击 ''安装 ‘’
在这里插入图片描述
点击: ''完成 ‘’

VMware Workstation 10永久激活密钥 :点击 ''完成 ‘’

2、新建虚拟机

选择’‘创建新的虚拟机’’ :
在这里插入图片描述
选择’‘自定义(高级)’’ :点击 ''下一步 ‘’
在这里插入图片描述
选择“Workstation 10.0”:点击 ''下一步 ‘’
在这里插入图片描述
选择“稍后安装操作系统(S)”:点击 ''下一步 ‘’

### Hadoop大数据平台搭建教程 #### 一、环境准备 为了确保Hadoop可以在湖南地区的服务器上高效稳定地运行,需先准备好硬件和软件环境。由于Hadoop设计的目标是可以高效稳定地运行在廉价的计算机集群上,可以扩展到数以千计的计算机节点上,并具有高容错性[^1]。 对于操作系统的选择,建议采用Linux发行版如Ubuntu Server LTS版本,因为大多数的大数据技术都是基于Unix/Linux开发,在这类系统下性能更优且兼容性更好。另外还需安装JDK,Java是Hadoop的主要编程语言之一,所以要保证环境中已配置好合适的Java版本。 #### 二、下载并解压Hadoop压缩包 前往Apache官方网站获取最新稳定版的Hadoop压缩包,这里假设已经成功下载了`hadoop-3.1.1.tar.gz`文件至本地磁盘。接着将其上传到目标机器上的合适位置(比如/home/hadoop/),并通过命令行工具tar解开此压缩包: ```bash tar -zxvf hadoop-3.1.1.tar.gz -C /home/hadoop/ ``` 如果是在Windows环境下操作,则按照说明将`apache-hadoop-3.1.1-winutils-master`中的`bin`目录覆盖原`D:\hadoop-3.1.1\bin`下的同名目录[^2]。 #### 三、配置SSH免密登录 为了让各个节点之间能够无障碍通信,需要设置无密码ssh访问权限。具体做法是从主节点向其他所有子节点发送公钥,并保存于对方用户的`.ssh/authorized_keys`文件内;同时也要允许本机内部无需输入密码即可通过ssh连接自己。 #### 四、修改核心配置文件 进入刚刚解压出来的Hadoop根目录,编辑以下几个重要的XML格式配置文档来适应当前网络状况和个人需求: - `etc/hadoop/core-site.xml`: 设置namenode地址以及默认FS URI; - `etc/hadoop/hdfs-site.xml`: 定义datanodes存储副本数量等参数; - `etc/hadoop/mapred-site.xml`: 明确jobtracker的位置和服务端口; - `etc/hadoop/yarn-site.xml`: 调整ResourceManager的相关属性。 以上每一步都需要仔细阅读官方指南或者查阅相关资料来进行适当调整,以满足实际应用场景的要求。 #### 五、启动服务进程 完成上述准备工作之后就可以依次开启NameNode, DataNodes, Secondary NameNode, ResourceManager 和 NodeManager等一系列后台守护程序了。通常情况下可以通过执行如下脚本来简化这一过程: ```bash sbin/start-dfs.sh # 启动分布式文件系统的各组件 sbin/start-yarn.sh # 开启资源调度器及其代理 mr-jobhistory-daemon.sh start historyserver # 如果需要用到MapReduce的话还需要额外激活历史记录服务器 ``` 此时应该能够在浏览器里查看Web UI界面监控整个集群的状态变化情况,默认监听8088端口号用于YARN管理面板而50070则是针对HDFS状态展示页面(注意不同版本间可能存在差异)。 #### 六、验证集群功能正常与否 最后但同样重要的是测试新建好的Hadoop框架能否正常使用。可以从简单的WordCount例子入手,也可以尝试加载一些真实世界的数据集上去做初步探索分析工作。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值