MrZhang的博客

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high thro...

第一步：配置Hadoop环境变量首先需要Hadoop的环境变量 输入命令：vim /etc/profile并按回车进入配置文件，如下图所示，添加的内容是下面红色圈住的内容。 然后输入命令source /etc/profile来使配置起作用。第二步：初始化接下来开始初始化HDFS（格式化文件系统），格式化之前hadoop2.9.1目录是没有tmp这个目录的。 输入命令hdfs ...

1.浅谈Hadoop原理HDFS的NameNode是管理者，DataNode是被管理者。 举个例子：假如我们想向HDFS分布式系统上传一个大小为200M的日志文件，那么HDFS系统是如何工作的呢？在这里为了能够把原理说的更加清楚明了，我们就举例来说明，Client（客户端）相当于一个送货人，现在它要把货物（a.log）送到仓库里，那么首先送货人要跟仓库管理员联系，那么NameNode就充当着...

步骤一：环境准备在Hadoop安装与配置之前，需要准备的环境：虚拟机、Linux系统、配置JDK环境变量。 若以上还没准备，请参考以下文章： 1.VMware下载安装及CentOS7下载安装 2.Linux安装jdk1.8和配置环境变量步骤二：下载首先我们需要到Apache官网下载我们需要的Hadoop版本，Apache产品官网是：http://archive....