HADOOP

HADOOP是apache旗下的一套开源软件平台

HADOOP提供的功能:利用服务器集群,根据用户的自定义业务逻辑,对海量数据进行分布式处理

HADOOP的核心组件有

1.HDFS(分布式文件系统) Hadoop distributed File System

2.YARN(运算资源调度系统)

3.MAPREDUCE(分布式运算编程框架)

现阶段,云计算的两大底层支撑技术为"虚拟化"和"大数据技术"

HADOOP集群搭建

1.安装centos系统,并修改IP地址

vi /etc/sysconf/network-scripts/ifcfg-ens33

配置完成后,重启网卡:service network restart

2.关闭防火墙

service iptables stop 关闭防火墙服务

chkconfig iptables off 关闭防火墙配置文件

3.开启sshd服务

service sshd start

4.修改主机名

vi /etc/sysconfig/network

5.修改主机映射

vi /etc/hosts

6.添加用户,分配sudoer权限

useradd xxx

password  xxxxxx

添加sudoers文件可读权限

chomd 644 sudoers

编辑sudoers文件.首行添加:

xxxALL=(root)NOPASSWD:ALL

配置完成后:使用root权限可使用sudo即可

7.安装jdk

讲jdk上传到虚拟机

添加可执行权限

chomd 744 jdk..

解压jdk

tar -zxf jdkxxxxx.tar.gz -C ./(解压到哪里)

配置环境变量

sudo vi /etc/profile

文件末尾添加

export JAVA_HOME=/home/xxx/.../jdk

export PATH=$PATH:$JAVA_HOME/BIN:

刷新解压文件

source /etc /profile

查看是否安装成功

java  javac  java-version

克隆其他两台主机

克隆之后首先修改克隆机的mac地址

修改IP地址以及映射

设置SSH免密码登录

ssh-keygen -t rsa

将机子上的key给其他机子上发送一份

ssh-copy-id  xxx

使用ssh进行登录验证

ssh xxx

HADOOP安装部署

上传HADOOP安装包

规划安装目录/home/hadoop/hadoop-2.9.2

解压安装包

配置环境变量

#SET JAVA_HONE export JAVA_HOME=/home/jdk1.7.0_67 export HADOOP_HOME=/hom/hadoop-2.7.1 export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:

修改hadoop-env.sh

        修改jdk路径：export JAVA_HOME=/opt/modules/jdk1.7.0_67

修改 core-site.xml

<property> <name>fs.defaultFS</name> <value>hdfs://master:9000</value> </property> <property> <name>io.file.buffer.size</name> <value>4096</value> </property>

修改hdfs-size.xml

<property> <name>dfs.replication</name> <value>3</value> </property> <property> <name>dfs.block.size</name> <value>134217728</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/home/xxx/hadoopdata/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/home/xxx/hadoopdata/dfs/data</value> </property> <property> <name>fs.checkpoint.dir</name> <value>/home/xxx/hadoopdata/checkpoint/dfs/cname</value> </property> <property> <name>fs.checkpoint.edits.dir</name> <value>/home/xxx/hadoopdata/checkpoint/dfs/cname</value> </property> <property>    <name>dfs.http.address</name>    <value>master:50070</value> </property> <property>    <name>dfs.secondary.http.address</name>    <value>server01:50090</value> </property> <property> <name>dfs.webhdfs.enabled</name> <value>true</value> </property> <property> <name>dfs.permissions</name> <value>false</value> </property>

修改mapered-site.xml文件

<property> <name>mapreduce.framework.name</name> <value>yarn</value> <final>true</final> </property> <property> <name>mapreduce.jobhistory.address</name> <value>master:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>master:19888</value> </property>

修改yarn-site.xml

<property> <name>yarn.resourcemanager.hostname</name> <value>master</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.resourcemanager.address</name> <value>master:8032</value> </property> <property> <name>yarn.resourcemanager.scheduler.address</name> <value>master:8030</value> </property> <property> <name>yarn.resourcemanager.resource-tracker.address</name> <value>master:8031</value> </property> <property> <name>yarn.resourcemanager.admin.address</name> <value>master:8033</value> </property> <property> <name>yarn.resourcemanager.webapp.address</name> <value>master:8088</value> </property>

修改slaves文件

注意:每个机器名占一行。 master slave1 slave2

拷贝Hadoop 到 datanode02  datanode03 主机上。

scp -r  ./hadoop-2.7.1  hadoop-datanode-02:/home/xxx/app/

scp -r  ./hadoop-2.7.1  hadoop-datanode-03:/home/xxx/app/

启动集群

初始化HDFS

hadoop namenode -format

HADAOOP启动

start-all.sh

HADOOP关闭

stop-all.sh

web访问端口

http://192.168.137.100:50070