hadoop学习环境搭建

无密码登录

生成密匙：
ssh-keygen  -t  rsa
上传密匙：
ssh-copy-id -i ~/.ssh/id_rsa.pub chen@192.168.1.100
远程登录：
ssh 用户名@主机名
ssh 主机名

分发文件

scp /home/chen/app/hadoop/etc/hadoop/core-site.xml  hadoop105:/home/chen/app/hadoop/etc/hadoop/core-site.xml
scp 待分发文件绝对路径  主机名：绝对路径

普通用户具有sudo权限

# vim /etc/sudoers

修改主机名

# vim /etc/sysconfig/network
# sudo hostname itcast

NETWORK = yes
HOSTNAME = itcast

修改主机和ip映射

# vim /etc/hosts

192.168.0.1 itcast

安装 jdk

http://blog.youkuaiyun.com/fuyuwei2015/article/details/73195936

1. 卸载

查看已经安装的jdk

[root@bogon jre]# rpm -qa|grep jdk
java-1.8.0-openjdk-headless-1.8.0.65-3.b17.el7.x86_64
java-1.7.0-openjdk-1.7.0.91-2.6.2.3.el7.x86_64
java-1.7.0-openjdk-headless-1.7.0.91-2.6.2.3.el7.x86_64
java-1.8.0-openjdk-1.8.0.65-3.b17.el7.x86_64
 
1
2
3
4
5

2. 卸载命令

[root@bogon jre]# yum -y remove java-1.8.0-openjdk-headless-1.8.0.65-3.b17.el7.x86_64
 
1

卸载完成之后Java命令不被识别

[root@bogon lib]# java -version
 
1

3. 安装

去官网下载jdk：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
解压到安装目录

[root@bogon software]# tar -zxvf jdk-8u101-linux-x64.tar.gz -C /usr/local/java/
 
1

安装完毕之后在/etc/profile文件末尾添加

[root@bogon software]# vim /etc/profile
export JAVA_HOME=/usr/local/java/jdk1.8.0_161
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
 
1
2
3
4
5

使/etc/profile生效

[root@bogon jdk1.8.0_101]# source /etc/profile
 
1

Hadoop - 2.7.5 修改配置文件

下载 hadoop

http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.5/hadoop-2.7.5.tar.gz

解压到 /data/ 下面

 
1
2
3
4

修改配置文件

位置：/data/hadoop-2.7.5/etc/hadoop/

 
1
2

1. hadoop_env.sh

export JAVA_HOME=$JAVA_HOME
改成固定的路径  因为容易找不到
export JAVA_HOME=/usr/local/java/jdk1.8.0_161
 
1
2
3

2. core-site.xml

<configuration>
        <property>
                <name>fs.defaultFS</name>       <!-- 默认的文件系统-->
                <value>hdfs://hadoop1:9000/</value> <!-- 协议://主节点 -->
        </property>
        <property>
                <name>hadoop.tmp.dir</name>     <!--数据存放目录-->
                <value>/data/hadoop-2.7.5/data/</value>
        </property>
</configuration>
 
1
2
3
4
5
6
7
8
9
10

3.hdfs-site.xml

<configuration>
	<property>
                <name>dfs.namenode.name.dir</name><!--namenode节点目录-->
                <value>/home/chen/app/data1</value>
        </property>
        <property>
                <name>dfs.hosts</name><!--datanode节点地址-->
                <value>hadoop102,hadoop103,hadoop104</value>
        </property>
         <property>
                <name>dfs.blocksize</name><!--存储块大小-->
                <value>268435456</value>
         </property>
         <property>
                <name>dfs.namenode.handler.count</name><!--连接线程的数量-->
                <value>100</value>
         </property>
        <property>
                <name>dfs.datanode.data.dir</name><!--数据节点的目录-->
                <value>/home/chen/app/data</value>
        </property>
        <property>
                <name>dfs.replication</name> <!--存放副本的数量-->
                <value>3</value>
        </property>
</configuration>

4. mapred-site.xml

<configuration>
        <property>
                <name>mapreduce.framework.name</name>   <!--把jar包放到那个容器里面去跑-->
                <value>yarn</value>
        </property>
</configuration>
 
1
2
3
4
5
6

5. yarn.site.xml

<configuration>
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>hadoop1</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>

</configuration>
 
1
2
3
4
5
6
7
8
9
10
11

6. 添加环境变量

/etc/profile

export HADOOP_HOME=/data/hadoop-2.7.5
export PATH=${HADOOP_HOME}/sbin:${HADOOP_HOME}/bin:$PATH
 
1
2

7. 启动

// 第一次启动先格式化
hadoop namenode -format

// 启动 hdfs
start-dfs.sh

// 启动 yarn框架
start-yarn.sh


//上传文件到dfs上
hadoop fs -put jdk-8u161-linux-x64.tar.gz hdfs://hadoop1:9000/

//下载文件从dfs上
hadoop fs -get hdfs://hadoop1:9000/jdk-8u161-linux-x64.tar.gz