Kiku_xq的博客

通过大数据入门之Hadoop生态系统(1)，我们大致地了解了HDFS的概念，这里我们具体地看一下HDFS的实现原理与架构分析。1.HDFS架构HDFS采用的是Master/Slave架构(1个Master带多个Slave)。一个HDFS集群通常由一个Master(NameNode)和多个Slave(DataNode)构成。一个文件会被拆分成多个Block(默认每个数据块是128M)，如...

1.前置要求Windows用户：VMware虚拟机 Centos6.4。(要求主机和虚拟机能够相互通信，具体请查看网上教程)Linux、Mac用户：可以直接在本地搭建环境。JDK1.8(具体的安装步骤，网上都有很多，注意我们所有的东西都是安装在虚拟机上的，注意配置到系统环境变量中)2.Hadoop环境(伪分布式环境搭建)、HDFS环境搭建下载我们Hadoop使用的版本是：h...

1.前置要求大数据入门之Hadoop生态系统(3) -- Hadoop和HDFS环境搭建前面已经搭建好了Hadoop和HDFS的环境，接下来我们用shell命令对文件系统进行操作。2.HDFS shell常用命令常用的有：ls、mkdir、put、get、rm，和Linux的命令差不多。我们首先启动HDFS，启动方式前面也说过了。因为我们前面已经配置了Hadoop的环境变量。所...