Hadoop环境配置
关注
分享
扫一扫
本专栏记录Hadoop环境配置过程
Nelson_hehe
人生的奔跑不在于瞬间的爆发，而在于途中的坚持。
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
【Hadoop开发环境搭建】一、Linux环境下JDK安装和配置
本系列记录配置Hadoop开发环境和集群的过程一、JDK在Linux中的安装配置1.现有工具及文件：①Xmanager Enterprise 5（其中的Xftp可用于实现不同IP地址间文件的互传，也可以实现Linux文件目录的可视化）②JDK安装包：jdk-8u151-linux-x64.tar③云服务器（配置Linux操作系统）2.首先检查Linux系统自带的OpenJD...原创 2019-09-30 21:27:36 · 574 阅读 · 0 评论 -
【Hadoop开发环境搭建】二、Hadoop安装与配置
在上篇中介绍了Linux环境下JDK的安装与环境配置，本篇记录了Hadoop的安装配置过程二、Hadoop安装与配置1.现有工具及文件①Xmanager Enterprise 5（其中的Xftp可用于实现不同IP地址间文件的互传，也可以实现Linux文件目录的可视化）②hadoop-2.7.7.tar.gz③云服务器（配置Linux操作系统）④已配置好JDK1.82.解...原创 2019-10-03 17:29:29 · 811 阅读 · 0 评论 -
【Hadoop开发环境搭建】三、Hadoop集群搭建
三、Hadoop集群搭建在上篇中记录了Hadoop安装与配置，在本篇中，介绍一下Hadoop集群的搭建1.现有环境三台云服务器（Linux系统、JDK1.8、Hadoop 2.2.7）2.关闭防火墙、修改IP、修改hostname、修改host文件(1)查看防火墙状态systemctl status firewalld.service 显示active状态...原创 2019-10-04 00:05:18 · 511 阅读 · 0 评论 -
【Hadoop开发环境搭建】四、Hadoop集群启动
四、Hadoop集群启动在配置完成Hadoop集群后，我们可以手动启动集群及相关服务1.启动集群(在sbin目录下执行下面指令，如果集群是第一次启动可以用第一种，常用的启动方式是一个一个的守护进程启动)：start-dfs.sh //启动HDFS相关服务start-yarn.sh //启动YARN相关服务mr-jobhistory-daemon.sh start...原创 2019-10-04 12:03:22 · 1531 阅读 · 0 评论 -
【Hadoop开发环境搭建】五、配置集群时可能出现问题
在第四节中进入50070端口后可以显示界面，其实在这时并不一定配置好了下面我将遇到的一些问题记录下来,并作为更新帖，以后出现问题再添加：1.由于hdfs namenode -format指令的重复使用使 /hadoop/hdfs/data/current 下 与 /hadoop/hdfs/name/current 下ID不一致，就会出现下面的情况：...原创 2019-10-04 16:07:23 · 357 阅读 · 0 评论 -
【Hadoop开发环境搭建】六、安装Eclipse、配置MapReduce环境
本章来记录一下Eclipse安装hadoop插件、配置MapReduce环境并新建一个MapReduce工程的过程0.现有环境：Eclipse(Windows 本地系统的)云服务器(已经配置好了Hadoop开发环境和集群)1.安装插件：hadoop-eclipse-plugin-2.7.3.jar地址：https://pan.baidu.com/s/1BaAOQkZaY4R...原创 2019-10-05 18:30:12 · 3240 阅读 · 1 评论