一:Centos多机共享及其它准备(为了Hadoop HA部署)

本文详述了在阿里云服务器上部署HadoopHA的全过程,包括主机购买、远程登录、用户创建、hosts文件配置、SSH信任设置、Java安装等关键步骤。

前提:为了在阿里云服务器上部署Hadoop HA,在部署之前,需要了解前期的HA架构和阿里云服务器,在熟悉了这些前提下,开始一步进行实操。在实操中熟悉各类架构后,在对各类架构的作用,启动和关闭顺序做*更进一步熟悉:

  •  目录结构:
    
  • 1:阿里云主机购买

  • 2:远程XSHELL登陆

  • 3:hadoop用户创建及文件上传

  • 4:hosts文件和多台ssh互相信任

  • 5:java运行程序安装

  • 1:阿里云主机购买:

  • 搭建hadoop HA 环境,至少需要三台主机,最少配置为2核 4G内存为好:如果在阿里云购买主机,只是临时使用,建议按量付费。3台机基本在2块钱/小时。

  • 在这里插入图片描述

  • 2:远程XSHELL/CRT登陆

  • 依据自己喜好,远程链接需要部署HA 的三台机器,同时在多机器中,留意远程链接工具是否具备批处理功能:

  • 在这里插入图片描述

  • 3:hadoop用户创建及文件上传

useradd hadoop 
su - hadoop
mkdir software app data lib source

在这里插入图片描述

exit
yum install -y lrzsz
rz /home/hadoop/software

在这里插入图片描述

  • 4:hosts文件和多台ssh互相信任

su - root
vim /etc/hosts
scp /etc/hosts root@hadoop002:/etc/hosts 从第一个传个第二个,省事
su -hadoop
rm -rf .ssh
ssh-keygen
scp id_rsa.pub root@hadoop001:/home/hadoop/.ssh/id_rsa.pub2/3
cat id_rsa.pub(23) >>authorized_keys
scp authorized_keys root@hadoop002:/home/hadoop/.ssh/
chmod  600 /home/hadoop/.ssh/authorized_keys
chmod 700 -R  /home/hadoop/.ssh

在这里插入图片描述

  • 5:java运行程序安装

which java 
ll  /usr/java     查看是否安装有
mkdir /usr/java
tar -xzvf  * -C  /usr/java
chown -R root:root /usr/java/
source /etc/profile  使profile生效
java -version
根据原作 https://pan.quark.cn/s/459657bcfd45 的源码改编 Classic-ML-Methods-Algo 引言 建立这个项目,是为了梳理和总结传统器学习(Machine Learning)方法(methods)或者算法(algo),和各位同仁相互学习交流. 现在的深度学习本质上来自于传统的神经网络模型,很大程度上是传统器学习的延续,同时也在不少时候需要结合传统方法来实现. 任何器学习方法基本的流程结构都是通用的;使用的评价方法也基本通用;使用的些数学知识也是通用的. 本文在梳理传统器学习方法算法的同时也会顺便补充这些流程,数学上的知识以供参考. 器学习 器学习是人工智能(Artificial Intelligence)个分支,也是实现人工智能最重要的手段.区别于传统的基于规则(rule-based)的算法,器学习可以从数据中获取知识,从而实现规定的任务[Ian Goodfellow and Yoshua Bengio and Aaron Courville的Deep Learning].这些知识可以分为四种: 总结(summarization) 预测(prediction) 估计(estimation) 假想验证(hypothesis testing) 器学习主要关心的是预测[Varian在Big Data : New Tricks for Econometrics],预测的可以是连续性的输出变量,分类,聚类或者物品之间的有趣关联. 器学习分类 根据数据配置(setting,是否有标签,可以是连续的也可以是离散的)和任务目标,我们可以将器学习方法分为四种: 无监督(unsupervised) 训练数据没有给定...
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值