
大数据
ppsppy
路要一步一步走,饭要一口一口吃
展开
-
hadoop学习——配置hadoop单节点集群,启动HDFS
hadoop配置其实在官网上写的非常清楚了,这里演示一遍。版本采用的是hadoop-2.6.0-cdh5.15.1,网址为:http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.15.1/hadoop-project-dist/hadoop-common/SingleCluster.html首先修改配置文件etc/hadoop/c...原创 2020-04-16 18:30:39 · 819 阅读 · 0 评论 -
hadoop学习——配置ssh免密登录
首先在/etc/hosts文件中加入服务器ip地址,并命名为hadoop001,这样,下次要登录该ip时,可以直接用hadoop001替代:前面是IP地址,后面是别名。然后这个时候可以使用ssh登录hadoop001,但是需要输入密码:设置免密登录:执行以下代码,生成公钥私钥文件,ssh-keygen -t rsa将公钥写入authorized_keys中...原创 2020-04-05 22:55:55 · 306 阅读 · 0 评论 -
hadoop学习——安装JDK
解压缩将压缩包解压,建议将所有的软件存在一个目录下。因为我是用root用户直接操作的,所以直接创建一个app文件夹,然后将JDK解压到该文件夹中。cd /rootmkdir apptar -zxvf jdk的路径 -C /root/app(需要安装的路径)配置JDK此时JDK的路径为:/root/app/jdk1.8.0_91将JDK的路径保存到系统的环境变量...原创 2020-04-05 22:37:21 · 338 阅读 · 0 评论 -
hadoop学习——准备安装hadoop2.x单机版
首先是服务器信息:年前在腾讯云上买的centos7,最基础的单核心2GB,不知道够不够用,先凑合着用吧。打开服务器后去官网下载hadoop,然后发现linux没有wget,通过以下命令下载wget:yum -y install wget然后下载CHD,选择版本5.15.1wget /root/software http://archive.cloudera.com/cdh...原创 2020-04-05 22:02:16 · 200 阅读 · 0 评论