Hadoop权威指南_读书笔记_第1章 初识Hadoop

• 1. why hadoop？为什么不能用配有大量硬盘的数据库进行大规模数据分析

  • 答案来自于计算机硬盘的另一个发展趋势：寻址时间的提升远远不敌于传输速率的提升。寻址是将磁头移动到特定硬盘位置，进行读/写操作的过程。 它是导致硬盘操作延迟的主要原因，而传输速率取决于硬盘的带宽。
  • 如果数据访问模式中包含大量的硬盘寻址，那么读取大量数据集就必然会花费更长的时间。如果数据库系统只更新一小部分记录，那么传统的B树就更有优势。但是如果数据库有大量数据更新的时候，B树的效率就明显落后于MapReduce。
  • 通常情况下，将MapReduce视为关系型数据库的补充。

• 2. 数据本地化

  • Hadoop尽量在计算节点上存储数据，以实现数据的本地访问。数据本地化特性是Hadoop数据处理的核心。数据处理应该在离数据本身较近的地方进行，因为这样有利于降低成本，尤其是网络带宽消费所造成的成本。

• 3. Hadoop得名

  • Hadoop不是缩写，是生造出来的。Hadoop之父Doug Cutting 用他孩子的毛绒象玩具名取的。

• 4. Hadoop起源

  • 谷歌2003发表的论文 “The Google File System”