风不止步的博客

一.HDFS介绍HDFS全称Hadoop Distribute File System，是一个基于Java的分布式文件系统。 HDFS是Hadoop的核心设计之一，是为了解决海量数据的存储问题。在Hadoop集群中，将HDFS作为底层存储系统来存储分布式环境中的数据。目前使用版本hadoop2.7.1，官网地址：http://hadoop.apache.org/docs/r2.7.1/...

一.HDFS基础概念1.NameNode和DataNodesHDFS具有主/从架构。HDFS集群由单个NameNode，管理文件系统命名空间的主服务器和管理客户端对文件的访问组成。此外，还有许多DataNode，通常是群集中每个节点一个，用于管理连接到它们运行的​​节点的存储。HDFS公开文件系统命名空间，并允许用户数据存储在文件中。在内部，文件被分成一个或多个块，这些块存储在一组Data...

一. 概述所有HDFS命令都由hadoop安装目录下的bin/hdfs脚本调用。运行不带任何参数的hdfs脚本会打印所有命令的描述。 用法：hdfs [SHELL_OPTIONS]命令 [GENERIC_OPTIONS] [COMMAND_OPTIONS] HDFS命令主要分为两类：用户命令和管理命令。二. 用户命令1. 用法：hadoop fs -appendToFile <...

一.开发环境搭建使用IDE工具(Eclipse或Idea)创建一个Maven工程，导入Hadoop依赖包。<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven....

一.Configuration介绍Configuration是Hadoop的公共类，所以被放在了hadoop-common-2.7.4.jar下：org.apache.hadoop.conf.Configruration。该类是Job的配置信息类，配置信息的传递必须通过Configuration。因为通过Configuration可以实现在多个mapper和多个reducer任务间共享信息。...

6.HDFS源码分析_****