Google三大论文读后感

Google三大论文读后感

大数据这个词，很难对此进行明确的定义。通俗的来说，他就是我们身边的一切，眼睛所看到的，耳朵所听到的，鼻子闻到的，感觉器官所感觉到的以及一切能够描述出的信息。具体一点，我们在手机上的通话记录，聊天记录，手机电脑储存的图像视频音频，，都属于大数据的范畴。

大数据时代，我们看到的各种数据，如何储存呢？储存之后，如何原封不动的读取出来呢？谷歌提出了三篇著名的关于大数据的论文，设计并实现了文字系统，有效的处理了海量的数据。

首先是Google发布于2003年的Google File System（GFS）论文。Google GFS 文件系统是一个对大量数据进行访问的分布式文件系统。它相对于许多传统的分布式文件系统，有许多共同的特性。但由于这个设计还受到Google相关技术和环境的影响，使得这个系统同早先的文件系统存在着明显的区别。

 这些区别主要表现在以下几个方面：

     1.数据访问时，集群中的节点失效是一种常态，而不是一种异常；         
     2.Google系统中的文件与我们所熟知的文件概念有区别；
     3.文件读写模式和传统的文件系统有区别；
     4.文件系统的某些具体操作不再透明，而且需要应用程序的协助完成；

     GFS是为Google应用程序本身而设计的。对数据进行分布式文件系统的存储，解决了大数据的存储问题。

其次，就是2004年公布的 MapReduce论文，描述了大数据的分布式计算方式，其核心思想是大事化小处理，最后在合并结果，先拆分再合并。

 Mapreduce模型分map、reduce两部分。根据谷歌三篇大数据论文，MapReduce 编程模型的原理是：用户自定义的 Map 函数接受一个输入的 key/value pair 值，然后产生一个中间key/value pair 值的集合。MapReduce 库把所有具有相同中间 key 值 I 的中间 value 值集合在一起后传递给 reduce 函数。

     现在MapReduce已经应用到了许多不同的领域，用于高效的解决各种问题，比如大规模机器学习问题、大规模的图形计算、大规模的索引等。

最后是发布于2006年的BigTable。Bigtable是一个为管理大规模结构化数据而设计的分布式存储系统，可以扩展到PB级数据和上千台服务器。Bigtable能满足数据规模、延迟等要求，为很多产品成功地提供了灵活、高性能的存储解决方案。

   Bigtable通过行关键字的字典顺序来组织数据，列族是访问控制的基本单位，时间戳用来表示精确到毫秒的“实时”时间；用户程序也可以给时间戳赋值，Bigtable还提供了修改集群，表和列族的元数据的API，比如修改访问权限。

   由于 BigTable的客户程序不必通过 Master 服务器来获取Tablet 的位置信息，因此，大多数客户程序甚至完全不需要和 Master 服务器通信。

GFS、MapReduce、BigTable这三大理论被称为Google的“三驾马车”，可见这三大理论的重要价值和地位。要想完全理解这三篇论文需要长期的、丰富的知识积累，作为一名大二的学生，对着三篇论文可能不能做到完全理解，但我们可以从中了解大数据的相关知识，处理这些问题使用的方法，通过学习前辈们解决这个问题的方法，丰富自己的知识积累，以便轻松地解决自己遇到的问题。同时拓宽自己的视野，了解计算机领域的相关知识。