Ubuntu16.04LTS安装及配置Hadoop

前言

  这学期有一门云计算的课程，有接触到Hadoop，后来需要完成Hadoop的安装及配置，折腾了好久，决定以此记录下来。以供学习！课本附录简单介绍了在Windows上的安装及配置过程，但是推荐在Linux系统下完成，正好对Linux系统及一些命令比较感兴趣，趁着这个机会正好学习一波。以此记录之！

Hadoop简介

此处引用百度百科：
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。
Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。
Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。

Hadoop在Ubuntu上的安装与配置

安装环境及版本说明

Ubuntu 16.04LTS 64位操作系统
Hadoop版本：2.7.3 [下载地址](https://archive.apache.org/dist/hadoop/core/hadoop-2.7.3/)
Jdk版本：1.8.0 
MyEclipse版本：MyEclipse2017 CI 10

安装路径信息

hadoop安装路径：/usr/local/hadoop/hadoop-2.7.3
jdk路径：/usr/lib/jvm/java-8-oracle
MyEclipse路径：/opt/MyEclipse 2017

一、Java 环境安装

此处引用我朋友的优快云上一篇关于java web环境配置的博客

• 添加ppa

sudo add-apt-repository ppa:webupd8team/java
sudo apt-get update

• 安装oracle-java-installer
  JDK8：
  sudo apt-get install oracle-java8-installer
  JDK7：
  sudo apt-get install oracle-java7-installer

安装时会提示你同意Oracle的服务条款，选择ok，然后选择yes
这种方式安装后jdk路径为/usr/lib/jvm/java-8-oracle。

二、安装ssh server 实现免密码登录

Hadoop需要使用ssh进行通信，首先我们需要在我们的操作系统上安装ssh。在安装之前，我们需要查看系统是否已经安装并且启动了ssh。