hadoop集群

于 2019-12-20 13:04:40 发布
阅读量236 收藏
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 大数据开发
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_44054321/article/details/103630801

Hadoop-HDFS

存储模型
  • 文件线性切割成块(Block)
  • Block分散存储在集群节点中
  • 单一文件Block大小一致，文件与文件可以不一致
  • Block可以设置副本数，副本可以无序分散在不同节点中，副本数不要超过节点数量
  • 文件上传可以设置Block大小和副本数
  • 已上传的文件Block副本数可以调整，大小不变
  • 只支持一次写入多次读取，同一时刻只有一个写入者
  • 可以append追加数据
机构模型 一主多从

主：NameNode（NN）节点保存文件元数据：单节点 posix，描述：大小、权限、位置。。。
从：DataNode节点保存文件Block数据：多节点
DataNode与NameNode保持心跳，提交Block列表
HdfsClient与NameNode交互元数据信息
HdfsClient与DataNode交互文件Block数据(cs)
DataNode利用服务器本地文件系统存储数据块
NameNode：基于内存存储，不会和磁盘发生交互（双向）— 只存在内存中、持久化（单向）
主要功能：接受客户端的读写服务、收集DataNode汇报的Block列表信息
定期做持久化的工作，永久保存，读入磁盘。位置信息，持久化不存。
NameNode持久化：

  • NameNode的metadata信息在启动后会加载到内存
  • metadata存储到磁盘文件名为“fsimage”（时点备份） 序列化慢但是写的块
  • Block的位置信息不会保存到fsimage
  • edits积累对metadata的操作日志…>Redis 写的快但是读的慢
  • 二者的产生时间和过程？（format）
    SencondaryNameNode（SNN)
  • 它不是NN的备份（但可以做备份），它的主要工作是帮助NN合并editslog，减少NN启动时间。
  • SNN执行合并时机：
    根据配置文件设置的时间间隔fs.checkpoint.period默认3600秒
    根据配置文件设置editslog大小fs.checkpoint.size规定edits文件的最大值默认是64M
    DataNode(NN)
  • 本地磁盘目录存储数据（Block），文件形式
  • 同时存储Block的元数据信息文件
  • 启动DN时会向NN汇报block信息
  • 通过向NN发送心跳保持与其联系（3秒一次），如果NN 10分钟没有收到DN的心跳，则认为其已经lost，并copy其上的block到其它DN。
HDFS优点
  • 高容错性
    数据自动保存多个副本
    副本丢失后，自动恢复
  • 适合批处理
    移动计算而非数据
    数据位置暴露给计算框架（Block偏移量）
  • 适合大数据处理
    GB、TB甚至PB级数据
    百万规模以上的文件数据
    10K+节点
    可构建在廉价机器上
    通过多副本提高可靠性
    提供了容错和恢复机制
HDFS缺点

低延迟数据访问：毫秒级、低延迟与高吞吐率
小文件存取：占有NameNode大量内存
寻道时间超过读取时间
并发写入、文件随机修改：一个文件仅能有一个写者，仅支持append。

Block的副本放置策略
  • 第一个副本：放置在上传文件的DN；如果是集群外提交，则随机挑选一台磁盘不太满，CPU不太忙的节点
  • 第二个副本：放置在于第一个副本不同机架的节点上
  • 第三个副本：与第二个副本相同机架的节点
  • 更多副本：随机节点
HDFS写流程
Client
  • 切分文件Block
  • 按Block线性和NN获取DN列表（副本数）
  • 验证DN列表后以更小的单位流式传输数据
  • Block传输结束后：
    DN向NN汇报Block信息
    DN向Client汇报完成
    Client向NN汇报完成
    获取下一个Block存放的DN列表
  • 。。。。。
  • 最终Client汇报完成
  • NN会在写流程更新文件状态
HDFS读流程

就近原则

HDFS文件权限 POSIX标准（可移植操作系统接口）

与linux文件权限类似r:read w:write x:execute
权限x对于文件忽略，对于文件夹表示是否允许访问其内容
如果Linux系统用户zhangsan使用hadoop命令创建了一个文件，那么这个文件在HDFS中owner就是zhangsan。
HDFS的权限目的：阻止误操作，但不绝对，HDFS想想，你告诉我你是谁，我就认为你是谁

搭建伪分布式集群

  • Hadoop集群的三种模式
    Local (Standalone) Mode 本地模式
    Pseudo-Distributed Mode 伪分布式模式
    Fully-Distributed Mode 全分布式模式
  • 先决条件
    Supported Platforms：linux
    Required Software：jdk、ssh密匙文件
    Installing Software：
#配置内容
关闭防火墙 chkconfig iptables off
安全机制 vi /etc/sysconfig/selinux  修改SELINUX=disabled
修改IP地址 vi /etc/sysconfig/network-scripts/ifcfg-eth0 
配置别名 i /etc/sysconfig/network
域名映射 vi /etc/hosts
重启网络 service network start
rm -rf /etc/udev/rules.d/70-persistent-net.rules （如果ping不通，可以删除）
重启服务 reboot

#下载安装jdk：mkdir software
rpm -i jdk-7u67-linux-x64.rpm
#修改配置/etc/profile
export JAVA_HOME=/usr/java/jdk1.7.0_67
PATH=$PATH:$JAVA_HOME/bin
. /etc/profile 必须重启

`在这里插入代码片`免密钥
ssh localhost
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
 cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
 生成id_dsa.pub公钥文件追加到authorized_keys

下载安装hadoop
mkdir -p /opt/sxt
tar xf hadoop-2.6.5 .tar.gz -C /opt/sxt/
#修改配置/etc/profile
export HADOOP_HOME=/opt/sxt/hadoop-2.6.5
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
. /etc/profile 必须重启

cd /opt/sxt/hadoop-2.6.5/etc/hadoop
#修改配置文件信息
 - hadoop-env.sh、mapred-env.sh、yarn-env.sh
     ***JAVA_HOME=/usr/java/jdk1.7.0_67***

#配置core-site.xml  主节点的配置信息
  	<property>
        <name>fs.defaultFS</name>
        <value>hdfs://node01:9000</value>
    </property>
  	<property>
        <name>hadoop.tmp.dir</name>
        <value>/var/sxt/hadoop/pseudo</value>
    </property>    

#配置hdfs-site.xml 从节点配置信息
    <property>
        <name>dfs.replication</name>
        <value>1</value>#只有一台服务器，所以副本数只能设置为1.
    </property> 
     <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>node01:50090</value>#ip:端口号，secondarynamenode的通讯端口
    </property>

#配置slave
node01

#格式化
hdfs namenode -format
cd /var/sxt/hadoop/pseudo/dfs/name/current name代表namenode的元数据信息
cat V*
clusterID=clusterID=CID-6af9c516-6afa-4d6f-a24c-e6f7dabf9f6e#集群id是所有角色共享的，namenode、datanode、secondarynode都有并且一样才可以
#启动集群
start-dfs.sh
#角色进程查看
jps：DataNode、SecondaryNameNode、NameNode
#查看web UI:ss -nal
IP:50070或者node01:50070
#上传文件和数据
创建目录：hdfs dfs  -mkdir -p  /user/root
查看目录:  hdfs dfs -ls   /
上传文件： hdfs dfs -put  hadoop-2.6.5.tar.gz   /user/root	 
文件以什么状态存在？以块的形式存在，一块大小默认为128M，默认单位是字节
查看日志文件cd /var/sxt/hadoop/pseudo/dfs/name/current   edits_inprogress_0000000000000000001日志文件
#停止集群：stop-dfs.sh

cp -r hadoop/ hadoop_pseudo做伪分布式的备份

全分布式搭建

  1. 全都安装jdk
  2. 同步所有服务器的时间：date -s “2019-12-20 15:45:00”
  3. 机器需要都起别名
  4. vi /etc/hosts域名映射确保每台服务器都ping通
  5. vi /etc/sysconfig/selinux 修改SELINUX=disabled
  6. 安全机制是否关闭SELINUX=disabled
  7. 防火墙是否关闭
  8. 开始搭建全分布式集群
  9. 免密登录—分发密钥
#分发密钥文件
其它服务器先登录一下
scp id_dsa.pub node02:`pwd`/node02.pub分发公共密钥
cat node02.pub >> authorized_keys追加密钥

#修改core-site.xml
  	<property>
        <name>fs.defaultFS</name>
        <value>hdfs://node01:9000</value>
    </property>
  	<property>
        <name>hadoop.tmp.dir</name>
        <value>/var/sxt/hadoop/pseudo</value>
    </property>    

修改hdfs-site.xml
    <property>
        <name>dfs.replication</name>
        <value>2</value>#
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>node02:50090</value>
    </property>

修改slaves（从节点配置）
node02
node03
node04

#分发hadoop
cd /opt/
scp -r sxt/ node04:`pwd`
#分发配置文件
scp /etc/profile node02:/etc/
. /etc/profile

观察日志：cd /opt/sxt/hadoop-2.6.5/
cd logs
ll
tail -100 hadoop-root-secondarynamenode-node07.lo
#产生一个text.txt文件
for i in seq 1000000;do echo “hello sxt$i” >> text.txt;done
hdfs dfs -D dfs.bilocksize=1048576 -put test.txt
vi + blk

Hadoop2.0

Hadoop1.0中HDFS和MapReduce在高可用、扩展性等方面存在问题。
HDFS存在的问题：单点故障 --解决办法HA，单点压力过大—解决办法F
容错机制是过半原则。一般搭建是奇数个数搭建。
高可用
zookeeper failover controller 故障转移机制

	    NN-1       NN-2       DN       *ZK*       *ZKFC*      JNN
node01   1                                          *1*        1
node02              1         1         1           *1*        1
node03                        1         1                      1
node04		                  1         1

JNN和ZK要先于集群的其它角色

#两个namenode节点要切换,要免密钥
scp id_dsa.pub node01:`pwd`/node01.pub分发公共密钥
cat node01.pub >> authorized_keys追加密钥
高可用
#hdfs-site.xml 
    <property>
        <name>dfs.replication</name>
        <value>2</value>#
    </property>
    
  <property>
    <name>dfs.nameservices</name>
    <value>mycluster</value>
  </property>
  
  <property>
    <name>dfs.ha.namenodes.mycluster</name>
    <value>nn1,nn2</value>
  </property>

	<property>
	  <name>dfs.namenode.rpc-address.mycluster.nn1</name>
	  <value>node01:8020</value>
	</property>
	
	<property>
	  <name>dfs.namenode.rpc-address.mycluster.nn2</name>
	  <value>node02:8020</value>
	</property>
	
	<property>
	  <name>dfs.namenode.http-address.mycluster.nn1 </name>
	  <value>node01:50070</value>
	</property>
	<property>
	  <name>dfs.namenode.http-address.mycluster.nn2</name>
	  <value>node02:50070</value>
	</property>
	
	<property>
	  <name>dfs.namenode.shared.edits.dir</name>
	  <value>qjournal://node1:8485;node2:8485;node3:8485/mycluster</value>
	</property>
	#代理类，实现故障转移的代理模式类
	<property>
	  <name>dfs.client.failover.proxy.provider.mycluster</name>
	  <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
	</property>
	#保证当前只有一个节点处于存活阶段，隔离
	<property>
	  <name>dfs.ha.fencing.methods</name>
	  <value>sshfence</value>
	</property>
	<property>
	  <name>dfs.ha.fencing.ssh.private-key-files</name>
	  <value>/root/.ssh/id_dsa</value>
	</property>
	
	<property>
	  <name>dfs.journalnode.edits.dir</name>
	   <value>/path/to/journal/node/local/data</value>
	  <value>/var/sxt/hadoop/ha/journalnode</value>
	</property>
	#自动故障转移的配置
	 <property>
	   <name>dfs.ha.automatic-failover.enabled</name>
	   <value>true</value>
	 </property>

#修改core-site.xml
  	<property>
        <name>fs.defaultFS</name>
        <value>hdfs://mycluste</value>
    </property>
  	<property>
        <name>hadoop.tmp.dir</name>
        <value>/var/sxt/hadoop/ha</value>
    </property>  
    #自动故障转移
    #zookeeper的配置
	 <property>
	   <name>ha.zookeeper.quorum</name>
	   <value>node02:2181,node03:2181,node04:2181</value>
	 </property>

将修改的文件进行分发：
scp core-site.xml hdfs-site.xml node02:‘pwd’
scp core-site.xml hdfs-site.xml node03:‘pwd’
scp core-site.xml hdfs-site.xml node04:‘pwd’

下载zookeeper
tar xf zookeeper-3.4.6.tar.gz  -C  /opt/sxt/
cd /opt/sxt/zookeeper-3.4.6/conf
mv zoo_sample.cfg zoo.cfg

修改配置zoo.cfg：
dataDir=/var/sxt/zk
server.1=node02:2888:3888
server.1=node03:2888:3888
server.1=node04:2888:3888#2888和3888两个不同的端口
cd /opt/sxt
scp -r  zookeeper-3.4.6/ node03:'pwd'
#配置编号
mkdir -p /var/sxt/zk
node02:echo 1 > /var/sxt/zk/myid
node03:echo 2> /var/sxt/zk/myid
node04:echo 3 > /var/sxt/zk/myid
#配置环境变量
/opt/sxt/zookeeper-3.4.6
export ZOOKEEPER_HOME=/opt/sxt/zookeeper-3.4.6
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$ZOOKEEPER_HOME/bin
scp /etc/profie node03:/etc/
. /etc/profile

zkServer.sh start#启动
zkServer.sh status#状态

journalnode
hadoop-daemon.sh start journalnode#node01、node02、node03
hdfs namenode -format#node01
hadoop-daemon.sh start namenode#node01
hdfs namenode -bootstrapStandby#node02
hdfs -initializeSharedEdits#node02

zookeeper客户端连接：
zkCli.sh
ls/
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值