bgk083的专栏

从一般的文本文件到数据库，Hadoop可以处理很多不同类型的数据格式。输入分片与记录一个输入分片（split)就是由单个map处理的输入块。每一个map操作之处理一个输入分片。每个分片被划分为若干个记录，每条记录就是一个键值对，map一个接一个地处理每条记录。输入分片和记录都是逻辑的，不必将它们对应到文件，虽然常见的形式都是文件。在数据库场景中，一个输入分片可以对应于一个表上的若干行，而一

目的这篇教程从用户的角度出发，全面地介绍了Hadoop Map/Reduce框架的各个方面。先决条件请先确认Hadoop被正确安装、配置和正常运行中。更多信息见：Hadoop快速入门对初次使用者。Hadoop集群搭建对大规模分布式集群。概述Hadoop Map/Reduce是一个使用简易的软件框架，基于它写出来的应用程序能够运行在由上

hadoop fs：使用面最广，可以操作任何文件系统。hadoop dfs与hdfs dfs：只能操作HDFS文件系统相关（包括与Local FS间的操作），前者已经Deprecated，一般使用后者。以下内容参考自stackoverflowFollowing are the three commands which appears same but have minu

运行hdfs得到以下帮助Usage: hdfs [--config confdir] COMMAND       where COMMAND is one of:  dfs                  run a filesystem command on the file systems supported in Hadoop.  namenode -format

各Daemon默认端口Daemon Default Port Configuration Parameter----------------------- ------------ ----------------------------------Namenode 50070 dfs.http.ad

今天遇到了一个问题：Call From localhost/127.0.0.1 to localhost:9000 failed on connection exception: java.net.ConnectException。该问题一般由于没有start dfs 和 yarn造成的

由http://wiki.apache.org/hadoop/Hadoop2OnWindows  可知，2.x版本或更新的版本可以直接安装在Windows平台上。在该网页中指出了几个注意点：     (1)Do not attempt to run the installation from within Cygwin. Cygwin is neither required nor