盘子李的博客

转自  http://blog.youkuaiyun.com/xiaoshunzi111/article/details/48367683HDFS的block是逻辑上的数据块.Hadoop2.0中每一块默认大小128MB,实际存储过程中block大小小于等128MB,它是以文件为存储对象.如一200MB大小文件,分两个数据块128MB+72MB 这里的两个块大实际小分别是128MB和72MB

1. 序列化从头说    在面向对象程序设计中，类是个很重要的概念。所谓“类”，可以将它想像成建筑图纸，而对象就是根据图纸盖的大楼。类，规定了对象的一切。根据建筑图纸造房子，盖出来的就是大楼，等同于将类进行实例化，得到的就是对象。        一开始，在源代码里，类的定义是明确的，但对象的行为有些地方是明确的，有些地方是不明确的。对象里不明确地方，是因为对象在运行的时候，需要处理无法

转自http://blog.youkuaiyun.com/m_signals/article/details/53445878准备工作： 我们的三个节点的集群(master,slave1,slave2)已经安装成功并且启动，具体安装方法可以参照之前的一篇教程Hadoop-2.6.4集群安装(详细图文)。 由于我们之前已经克隆出来一台，这次我们可以拿这一台来练习，先备份，搞崩了拿新的再搞

转自http://blog.youkuaiyun.com/preterhuman_peak/article/details/40649213优化时，把Hive sql当做map reduce程序来读，会有意想不到的惊喜。理解Hadoop的核心能力，是hive优化的根本。这是这一年来，项目组所有成员宝贵的经验总结。 长期观察hadoop处理数据的过程，有几个显著的特征

JobTracker和TaskTrackerJobTracker  对应于 NameNodeTaskTracker 对应于 DataNodeDataNode 和NameNode 是针对数据存放来而言的JobTracker和TaskTracker是对于MapReduce执行而言的 mapreduce中几个主要概念，mapreduce整体上可以分为这么几条执行线索：jo

转自：https://blog.youkuaiyun.com/androidlushangderen/article/details/51105876前言Hadoop在2.6.0版本中引入了一个新特性异构存储.异构存储关键在于异构2个字.异构存储可以根据各个存储介质读写特性的不同发挥各自的优势.一个很适用的场景就是上篇文章提到的冷热数据的存储.针对冷数据,采用容量大的,读写性能不高的存储介质存储,比如最普通的...