isJoker的博客

一、什么是大数据                首先，我们来了解一下，什么是大数据？大数据（BigData）是指无法在一定时间内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率、多样化的信息资产。由IBM提出的大数据的五个特征（5V）：Volume(大量)、Velocity（高速）、Variety（多样）、Value（价值...

        但凡开始讲大数据的，都离不开谷歌的三篇论文：Google File System(GFS)，MapReduce，BigTable。本篇主要介绍谷歌的GFS，后面会介绍Mapreduce和BigTable。        我们先来看一下Linux的体系结构                Linux文件系统中的文件是数据的集合，文件系统不仅包含着文件中的数据而且还有文件系统的结构，所有...

        上篇讲到了HDFS的设计思想GFS，这篇接着讲HDFS架构。        HDFS全称为 Hadoop Distributed File System， 是 Hadoop 的分布式文件系统的实现。它的设计目标是存储海量数据，并为分布在网络中的大量客户端提供数据访问。HDFS的实现解决了存在于众多分布式文件系统（如 NFS）中大量的问题，具体来说，HDFS实现了以下问题：能够保存非...