
Hadoop
文章平均质量分 94
西土城小羊
北京邮电大学研究生在读
后台开发 自然语言处理
展开
-
Hadoop完全分布式环境搭建
本次环境搭建使用Ubuntu虚拟机完成在搭建Hadoop环境之前需要安装VMware和Ubuntu虚拟机,这边就不再赘述,在本文中使用了Ubuntu16.04作为虚拟机,一共四台虚拟机,其中一台作为NameNode其他三台作为DataNode,因为有很多配置都是重复的,所以我们先在一台机器上配置完成之后,采用复制虚拟机的方式完成所有机器的环境配置安装JDKNameNode也就是ma...原创 2018-05-05 19:05:31 · 2073 阅读 · 0 评论 -
分布式文件系统HDFS
HDFS架构HDFS有两种节点,一种是NameNode,另一种是DataNodeNameNode (NN) 1.负责客户端请求的接收和相应 2.负责存储元数据,所谓元数据就是一些文件的名称,BlockId,Block所在的DataNode等信息DataNode(DN) 1.真正存储数据的地方,存储的是数据块,数据块的大小可以通过BlockSize来指定 2.定期向NN发送心跳信...原创 2018-05-16 00:25:59 · 2152 阅读 · 2 评论