zhouleilei的专栏

什么是大数据，大数据其实是一个概念，一种思考和解决问题的方式。从次面意思上指很大很大的数据，何为很大，当你的关系型数据库、当你的文本无法承受这么多数据的时候，那数据就很大了，动辄几个T 乃至更大，我们就习惯上成为大数据。但我这里所说的大数据是一个方式，就是说不管我们数据是否真的很大很大，我们都以大数据的方式考虑问题。中国人旅游大多跟团走，那旅行社其实早就对中国人旅游的嗜好进行了判定而不是揣

0、前言：     不做过多介绍Hadoop 网上比比皆是，每本书买来一看，第一张都是千篇一律，本文不做过多阐述，希望将此文建立在对hadoop有些了解的基础上，本文的总体流程是，先提出一个subject，然后根据关联将相关联的概念参数一并带出，虽整体不美观，但有助于将相关知识汇总记忆。1、Hadoop 版本图:          第一个大的主线是社区版的Hadoop路线图，200

HDFS的概念1、数据块     HDFS跟磁盘一样也有块的概念，磁盘上块的大小一般为512字节，而文件系统的块则一般是磁盘块的整数倍，比如我当前centos块的大小事4096 也就是4K，而HDFS块的大小由参数dfs.block.size 设定默认是64M,但是与单一磁盘文件系统相似，HDFS上的文件也被分为块大小的多个分块(chunk)。     为什么HDFS中的块如此之大？

1、认识MapReduce     MapReduce 是一种可用于数据处理的编程模型，有一下特点:     编程模型简单，但业务实现不一定简单；     Hadoop可以运行各种该语言编写的MapReduce程序，如java,python 等，很多企业为求开发效率采用python来开发MapReduce程序；     MapReduce 程序是并行运行的，所以又叫批处理程序。