litao_csdn的专栏

原创 解析hadoop相关shell运行流程

原创 hdfs原理及各个任务节点的职责详解

1、hdfs简介 一个高可靠，高吞吐量的分布式文件系统，通俗的说就是把文件存储到多台服务器上 hdfs官方架构图： 可以通俗的理解为下图 NameNode是主节点，存储文件的元数据如文件名，文件目录结构，文件属性（生成时间,副本数,文件权限），以及每个文件的块列表和块所在DataNode等。 DataNode 在本地文件系统存储文件块数据，以及块数据的校验和。 Se

原创 centos下编译hadoop2.x

前言：在Linux 64位系统上安装官网下载预编译好的二进制包【hadoop-2.6.0.tar.gz 】启动起来后，总是出现这种警告：WARN util.NativeCodeLoader: Unable to load native-hadooplibrary for your platform... using builtin-java classes where applicabl