Hadoop1.2.1安装以及部署

本文详细介绍了一种在三台Centos6.3虚拟机上搭建Hadoop集群的方法,包括配置免密码SSH登录、安装JDK及Hadoop1.2.1、配置相关环境变量等步骤。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

           

实验目的:

1 熟悉hadoop集群以及hadoop起源历史。

2 了解hadoop使用范围以及所需基础知识。

3 安装hadoop 1.x 实验版本。

实验设备以及所用软件:

 笔记本电脑、VMware、Centos6.3(3台虚拟机)

实验过程:

1、  启动VMware-准备好三台虚拟机的安装,这里使用的是Centos6.3简易版的安装,三台机器分别命名为master,slave,slave1,开启gpm服务,启动三台虚拟机,使用ifconfig命令查得master,slave,slave1的ip地址分别为192.168.1.112,192.168.1.111,192.168.1.109。在root权限下使用chkconfigiptables off命令关闭防火墙。

2、  ssh 免密码登陆普通用户模式下,首先ssh ip地址测试三台机子能否互相通信,若不能通信则检查ip是否在同一个网段,cd命令返回根目录,三台都使用命令

ssh-keygen –t rsa,命令行ls –a,检查根目录下是否有.ssh这个目录,cd  .ssh进入目录下,ls  -a检查是否有id_rsa.pub和id_rsa。接下来,通过命令

scp  ./id_rsa.pub   hadoop@ip:/home/hadoop/.ssh/authorized_keys,鼠标命令将三台机子的公钥全部复制粘贴进authorized-keys,放到每台虚拟系统的.ssh目录下,然后通过ssh  ip三台机子检测是否成功。注意:这里ssh ip成功的前提条件是用户名相同,不然使用ssh 用户名@ip才能成功,用户名相同也是这个实验成功的条件。

3.网上下载jdk1.8.0_05和hadoop1.2.1版本到master上,使用tar –xzvf  jdk包或hadoop包,这是个漫长的等待过程,大家耐心等待。


4.接下来修改hadoop相关文件命令,在根目录时,cd  hadoop1.2.1,cd  conf,

vi  hadoop-env.sh,修改jdk所在目录位置。


vi  core-site.xml


vi mapred-site.xml


vi  hdfs-site.xml


vi  masters


vi  slaves


5.把hadoop1.2.1以及jdk1.8.0_05发送到另外两台机器上(scp  -r  ./文件名  用户名@ip:/位置)



6.三台机器中修改hosts文件,vi  /etc/hosts,把ip地址跟用户名写入文件,然后ping  slave1,ping  slave,ping  master,检测hosts文件是否有错误。

进入hadoop1.2.1文件(cd  hadoop1.2.1),执行bin/start-all.sh成功!!!





7.最后去jdk里面的jpm服务里面检测,成功!

内容概要:本文针对国内加密货币市场预测研究较少的现状,采用BP神经网络构建了CCi30指数预测模型。研究选取2018年3月1日至2019年3月26日共391天的数据作为样本,通过“试凑法”确定最优隐结点数目,建立三层BP神经网络模型对CCi30指数收盘价进行预测。论文详细介绍了数据预处理、模型构建、训练及评估过程,包括数据归一化、特征工程、模型架构设计(如输入层、隐藏层、输出层)、模型编译与训练、模型评估(如RMSE、MAE计算)以及结果可视化。研究表明,该模型在短期内能较准确地预测指数变化趋势。此外,文章还讨论了隐层节点数的优化方法及其对预测性能的影响,并提出了若干改进建议,如引入更多技术指标、优化模型架构、尝试其他时序模型等。 适合人群:对加密货币市场预测感兴趣的研究人员、投资者及具备一定编程基础的数据分析师。 使用场景及目标:①为加密货币市场投资者提供一种新的预测工具和方法;②帮助研究人员理解BP神经网络在时间序列预测中的应用;③为后续研究提供改进方向,如数据增强、模型优化、特征工程等。 其他说明:尽管该模型在短期内表现出良好的预测性能,但仍存在一定局限性,如样本量较小、未考虑外部因素影响等。因此,在实际应用中需谨慎对待模型预测结果,并结合其他分析工具共同决策。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值