谷歌三篇论文之三---BigTable

经典论文研读:《Bigtable: A Distributed Storage System for Structured Data》 一 概述 BigTable是以大神Jeffrey Dean为首的Google团队在2006年公开的分布式存储系统,是Google“三驾马车”论文中(GFS、MapReduce、BigTable)中最后公开的。在BigTable论文中,Google构思、设计并实现了一套支持结构化数据存储的超大容量分布式存储系统。BigTable中关于数据模型、底层存储技术和架构模型的设计思路直到今日仍被奉为经典,下面我们就按照这三个维度来看下BigTable的设计细节。 二 数据模型 BigTable本质上是一个为稀疏结构化 阅读详情

首先,BigTable 从 2004 年初就开始研发了,到现在为止已经用了将近8个月。(2005年2月)目前大概有100个左右的服务使用BigTable,比如: Print,Search History,Maps和 Orkut。根据Google的一贯做法,内部开发的BigTable是为跑在廉价的PC机上设计的。BigTable 让Google在提供新服务时的运行成本降低,最大限度地利用了计算能力。BigTable 是建立在 GFS ,Scheduler ,Lock Service 和 MapReduce 之上的。

每个Table都是一个多维的稀疏图 sparse map。Table 由行和列组成,并且每个存储单元 cell 都有一个时间戳。在不同的时间对同一个存储单元cell有多份拷贝,这样就可以记录数据的变动情况。在他的例子中,行是URLs ,列可以定义一个名字,比如:contents。Contents 字段就可以存储文件的数据。或者列名是:”language”,可以存储一个“EN”的语言代码字符串。

为了管理巨大的Table,把Table根据行分割,这些分割后的数据统称为:Tablets。每个Tablets大概有 100-200 MB,每个机器存储100个左右的 Tablets。底层的架构是:GFS。由于GFS是一种分布式的文件系统,采用Tablets的机制后,可以获得很好的负载均衡。比如:可以把经常响应的表移动到其他空闲机器上,然后快速重建。

Tablets在系统中的存储方式是不可修改的 immutable 的SSTables,一台机器一个日志文件。当系统的内存满后,系统会压缩一些Tablets。由于Jeff在论述这点的时候说的很快,所以我没有时间把听到的都记录下来,因此下面是一个大概的说明:

压缩分为:主要和次要的两部分。次要的压缩仅仅包括几个Tablets,而主要的压缩时关于整个系统的压缩。主压缩有回收硬盘空间的功能。Tablets的位置实际上是存储在几个特殊的BigTable的存储单元cell中。看起来这是一个三层的系统。

客户端有一个指向METAO的Tablets的指针。如果METAO的Tablets被频繁使用,那个这台机器就会放弃其他的tablets专门支持METAO这个Tablets。METAO tablets 保持着所有的META1的tablets的记录。这些tablets中包含着查找tablets的实际位置。(老实说翻译到这里,我也不太明白。)在这个系统中不存在大的瓶颈,因为被频繁调用的数据已经被提前获得并进行了缓存。

    现在我们返回到对 列的说明:列是类似下面的形式: family:optional_qualifier。在他的例子中,行:www.search-analysis.com  也许有列:”contents:其中包含html页面的代码。 “ anchor:cnn.com/news” 中包含着 相对应的url,”anchor:www.search-analysis.com/” 包含着链接的文字部分。列中包含着类型信息。

    (翻译到这里我要插一句,以前我看过一个关于万能数据库的文章,当时很激动,就联系了作者,现在回想起来,或许google的 bigtable 才是更好的方案,切不说分布式的特性,就是这种建华的表结构就很有用处。)

    注意这里说的是列信息,而不是列类型。列的信息是如下信息,一般是:属性/规则。 比如:保存n份数据的拷贝 或者 保存数据n天长等等。当 tablets 重新建立的时候,就运用上面的规则,剔出不符合条件的记录。由于设计上的原因,列本身的创建是很容易的,但是跟列相关的功能确实非常复杂的,比如上文提到的 类型和规则信息等。为了优化读取速度,列的功能被分割然后以组的方式存储在所建索引的机器上。这些被分割后的组作用于 列 ,然后被分割成不同的 SSTables。这种方式可以提高系统的性能,因为小的,频繁读取的列可以被单独存储,和那些大的不经常访问的列隔离开来。

在一台机器上的所有的 tablets 共享一个log,在一个包含1亿的tablets的集群中,这将会导致非常多的文件被打开和写操作。新的log块经常被创建,一般是64M大小,这个GFS的块大小相等。当一个机器down掉后,控制机器就会重新发布他的log块到其他机器上继续进行处理。这台机器重建tablets然后询问控制机器处理结构的存储位置,然后直接对重建后的数据进行处理。

这个系统中有很多冗余数据,因此在系统中大量使用了压缩技术。

    Dean 对压缩的部分说的很快,我没有完全记下来,所以我还是说个大概吧:压缩前先寻找相似的 行,列,和时间 数据。

    他们使用不同版本的: BMDiff 和 Zippy 技术。

   BMDiff 提供给他们非常快的写速度: 100MB/s – 1000MB/s 。Zippy 是和 LZW 类似的。Zippy 并不像 LZW 或者 gzip 那样压缩比高,但是他处理速度非常快。

    Dean 还给了一个关于压缩 web 蜘蛛数据的例子。这个例子的蜘蛛 包含 2.1B 的页面,行按照以下的方式命名:“com.cnn.www/index.html:http”.在未压缩前的web page 页面大小是:45.1 TB ,压缩后的大小是:4.2 TB , 只是原来的 9.2%。Links 数据压缩到原来的 13.9% , 链接文本数据压缩到原来的 12.7%。

Google 还有很多没有添加但是已经考虑的功能。

    1.  数据操作表达式,这样可以把脚本发送到客户端来提供修改数据的功能。
    2. 多行数据的事物支持。
    3.  提高大数据存储单元的效率。
    4. BigTable 作为服务运行。
    好像:每个服务比如: maps 和 search history 历史搜索记录都有他们自己的集群运行 BigTable。
    他们还考虑运行一个全局的 BigTable 系统,但这需要比较公平的分割资源和计算时间。

Google三大论文之BigTable中文完整版 立即下载

相关推荐

BigTable原理详解

BigTable是Google设计的分布式数据存储系统,用来处理海量的数据的一种非关系型的数据库,该pdf详细解释了bigtable的原理。 BigTable是非关系的数据库,是一个稀疏的、分布式的、持久化存储的多维度排序Map。Bigtable的设计目的是可靠的处理PB级别的数据,并且能够部署到上千台机器上。Bigtable已经实现了下面的几个目标:适用性广泛、可扩展、高性能和高可用性。Bigtable已经在超过60个Google的产品和项目上得到了应用,包括 Google Analytics、GoogleFinance、Orkut、Personalized Search、Writely和GoogleEarth。这些产品对Bigtable提出了迥异的需求,有的需要高吞吐量的批处理,有的则需要及时响应,快速返回数据给最终用户。它们使用的Bigtable集群的配置也有很大的差异,有的集群只有几台服务器,而有的则需要上千台服务器、存储几百TB的数据。

Bigtable:一个分布式的结构化数据存储系统

<br />Bigtable:一个分布式的结构化数据存储系统<br />译者:alex<br />摘要<br />Bigtable是一个分布式的结构化数据存储系统,它被设计用来处理海量数据:通常是分布在数千台普通服务器上的PB级的数据。Google的很多项目使用Bigtable存储数据,包括Web索引、Google Earth、Google Finance。这些应用对Bigtable提出的要求差异非常大,无论是在数据量上(从URL到网页到卫星图像)还是在响应速度上(从后端的批量处理到实时数据服务)。尽管应用

fevln的专栏 883

BigTable 论文中文版

google 3大经典论文之big table 中文版

BigTable论文分析

Bigtable: A Distributed Storage System for Structured Data论文分析

qq_40229166的博客 2387

Google三篇论文-BigTable英文版

Google三篇论文-BigTable介绍,

iPhone免越狱Git服务器搭建教程-iSH

iPhone免越狱Git服务器搭建教程

jts666的博客 4430

004.精读《Bigtable: A Distributed Storage System for Structured Data》

综上所述,Bigtable论文在大数据领域产生了深远的影响,其设计理念也影响了开源社区,它不仅促进了NoSQL数据库的兴起,还对许多后来的大数据技术组件产生了直接的启发,包括HBase、MongoDB和Spark等。更重要的是,不仅仅是一篇学术论文,它更像是一本实践指南,指导我们在实际工作中如何更有效地存储和处理数据。最后,由于篇幅限制,一些数据验证的深入讨论并未在此展开。对于有兴趣进一步探索的读者,我建议精读全文以获得更全面的了解。获取原文。

数据飓风 2069

Endnote 导入参考文献的时候,格式错误太多了。et.al错误,国标GBT7714在endnote中的详细配置教程,适用于本科,硕士论文文献插入的模板

EndNote插入文献常遇到以下错误主要如下: 等、et al不分; 英文作者全名大写; 期刊名字使用了缩写(图片里没有体现;卷号、期号缺失时出现乱码,多了半个括号;页码范围略去了相同部分;没有悬挂缩进,本文全部解决,全网最细

sakura的博客 3万+

谷歌三篇论文(GFS,MapReduce,BigTable)

Google引爆大数据时代的三篇论文 谈到Hadoop的起源,就不得不提Google的三驾马车:Google FS、MapReduce、BigTable。虽然Google没有公布这三个产品的源码,但是他发布了这三个产品的详细设计论文,奠定了风靡全球的大数据算法的基础! 一,GFS—-2003 2003年,Google发布Google File System论文,这是一个可扩展的分布式文件系统...

好学若饥,谦卑若愚 2万+

Win10系统蓝屏错误BAD SYSTEM CONFIG INFO的解决方案

BAD SYSTEM CONFIG INFO错误是Win10系统中较为常见的一种蓝屏错误,通常与系统配置文件损坏或丢失有关。本文介绍了三种有效的解决方法:使用系统修复高级选项修复、通过PE修复文件和重装新系统。用户可以根据实际情况选择合适的方法进行操作。同时,建议用户定期备份系统重要文件和数据,以防止类似问题的发生。在遇到问题时,保持冷静并耐心操作,通常可以顺利解决问题。

mmoo_python的博客 7732

(一)DaVinci Developer AutoSAR工具 如何新建SWC、Component、RTE工程,超级详细步骤,赚到

​ 1,创建SWC,第一步需要创建一个App组件类型,首先点击Object Brower菜单,然后左键Application Component Types 选项,然后右键New Application Component Type,组件类型的作用是来后续实例一个Compoent 2、 Properties 选项卡中Nane中输入Type的名字,注意根据规范命名规则已CtAp开头,其他默认就好 ​

weixin_42602687的博客 3580

开启大数据时代谷歌三篇论文-BigTable

1 摘要 Bigtable 是一个分布式的结构化数据存储系统,它被设计用来处理海量数据:通常是分布在数千台普通服 务器上的 PB 级的数据。 Google 的很多项目使用 Bigtable 存储数据,包括 Web 索引、Google Earth、Google Finance。这些应用对 Bigtable 提出的要求差异非常大,无论是在数据量上(从 URL 到网页到卫星图像)还是在响应速度上(从...

BUPT-WT的博客 1278

深度学习在移动开发中的应用:实时姿态估计实战

我们将使用TensorFlow Lite框架,结合专为移动端优化的MoveNet模型,实现一个能够在主流Android设备上达到30FPS的多人姿态跟踪解决方案,并深入探讨其优化技巧和实际应用场景。特别是3D姿态估计、多人长期跟踪等前沿技术的发展,将进一步推动移动端姿态估计技术的应用深度和广度。在下一篇文章中,我们将探讨深度学习在移动端的另一个创新应用:实时手势识别,包括如何在资源受限的环境中实现复杂手势的实时识别,以及这项技术在AR/VR交互、智能家居控制等场景中的应用。第四部分:典型应用场景实现。

Programming Talk 325

【Hadoop】谷歌的三篇论文(GFS、MapReduce分布式计算模型 、BigTable大表)

谷歌的三篇论文(GFS、MapReduce分布式计算模型 、BigTable大表)0 谷歌的基本思想:三驾马车1 第一篇论文:GFS1.1 Google的GFS分布式文件系统的基本原理1.2 HDFS1.2.1 节点介绍1.2.2 数据块与机架感知1.2.3 客户端日志1.2.4 数据块位置信息1.2.5 倒排索引2 第二篇论文:MapReduce分布式计算模型2.1 MapReduce基本原理2.2 上机操作3 第三篇论文:BigTable大表3.1 大表基础理念3.2 大表与传统数据库表结构对比 手动

lys_828的博客 1万+

麻辣香锅病毒分析

Spicy Hot Pot浏览器劫持病毒(麻辣香锅病毒)从2020年初被安全公司监测到,因其病毒模块带有MLXG_KM被安全行业代称麻辣香锅病毒。目前通过各种激活工具传播, 包括暴风激活、小马激活和KMS激活等诸多工具,疑似与下载站进行合作推广此类激活工具。Spicy Hot Pot 是一个浏览器劫持 Rootkit,它会将用户的主页更改为指向恶意软件操作员控制的页面,此外还会将内存转储从机器上传到预定义的服务器,并结合本地更新功能以确保其保持更新。通常浏览器劫持者会通过更改用户主页的恶意可执行文件或注册表

不忘初心,护天下安全! 4795

使用Navicat连接Oracle数据库及ORA-12541: TNS: 无监听程序、ORA-28547:connection to server failed、ORA-12514:TNS报错解决方案

使用Navicat连接Oracle数据库及ORA-12541: TNS: 无监听程序、ORA-28547:connection to server failed、ORA-12514:TNS报错解决方案。

蓝多多的小仓库 5220

谷歌三篇重要论文读后感(作业)

谷歌三篇重要论文读后感(作业) 谷歌三篇重要论文分别讲述了GFS(2003),MapReduce(2004),BigTable(2006),它们对Hadoop的起源有很大的影响(hadoop运行的系统要求是 linux,hadoop 是用 java写的分布式 ,处理大数据的框架。) GFS全称Google File System其是一个可扩展的分布式文件系统,用于大型的、分布式的、对大量数据进行访...

Jessica_HW的博客 922

【STK】手把手教你利用STK进行弹道导弹和运载火箭发射仿真的相关方法全过程解析

写这个系列主要是这几年做了一些弹道导弹和运载火箭发射的相关仿真项目,stk软件由于其专业性在国内比较小众,相关的教程和书籍、经验贴都不是很多,因此新手在进行开发中容易遇到较多困难,把自己的一些经验体会写下来,一方面供自己总结回顾,另一方面也希望对大家有所帮助。这个系列计划分几篇文章写完,每章的内容结构相似,都分为①如何确定发射场位置和发射轨迹、②导入导弹和运载火箭模型、③设计模型分段动作、④飞行参数分析和相关应用这四个部分,每篇文章争取完整描述1-2个实际项目的操作过程。

weixin_44184852的博客 5991

别再死记硬背了!用大白话图解谷歌三篇论文(GFS/MapReduce/BigTable)如何塑造了今天的Hadoop生态

本文通过图书馆、流水线和乐高积木的生动比喻,解析了谷歌三篇经典论文(GFS/MapReduce/BigTable)如何奠定Hadoop生态的基础。GFS实现分布式存储,MapReduce革新并行计算,BigTable重构数据库设计,共同塑造了现代大数据处理框架。这些核心思想至今仍在Spark、Flink等新一代技术中延续。

weixin_30323631的博客 322

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

google三大论文(Bigtable、 GFS、 Google MapReduce)

做个中文版下载源: http://dl.iteye.com/topics/download/38db9a29-3e17-3dce-bc93-df9286081126 做个原版地址链接: http://labs.google.com/papers/gfs.html http://labs.google.com/papers/bigtable.html http://labs.google.com/p...

走向程序的康庄大道 1751

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

谷歌三篇论文读后感

谷歌三篇重要论文读后感TOC 在老师的引导下,我读了谷歌三篇重要论文,由于计算机知识还相对薄弱,所以不能对文献里的内容读得通透,但脑海里还是搭建起了一个模糊的框架。 Google Mapreduce:一种处理和生成超大数据集的编程模型; Google File System:一个面向大规模密集型应用、可伸缩的分布式文件系统 Google Bigtable:一个用来处理海量数据的分布式、结构化数据存...

qq_45128969的博客 293

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

谷歌GFS+Mapreduce+Bigtable三大论文中英文版本

谷歌GFS+Mapreduce+Bigtable三大论文中英文版本  Bigtable中英文 Word文档 (两个文件) GFS中英文 (word) MapReduce中英文 (Word)   分享一下,关于谷歌的三篇论文,弄成了 中英文 word文档,便于复制粘贴。  ...

蓝创精英团队 1714

对谷歌三篇重要论文的一些感想

对谷歌三篇重要论文的一些感想 在老师的指引下,我看了google著名的三大论文。虽然本人不是计算机相关专业的学生,对其中很多内容半知半解,但还算有所收获。以下就是我对三篇论文内容的一点浅显理解和小小的感悟。 1.GFS Google GFS是一个文件系统,也是大数据的基石之一。 他的优点在于不会占用太多主机资源,运行于廉价的普通设备。这样使之具有灾难冗余能力,且在不影响大部分用户性能体验的前提下...

mw48323的博客 624

google三篇重要论文(英文原文)

google三篇重要论文(英文原文) GFS:https://dl.acm.org/doi/pdf/10.1145/945445.945450 BigTable:https://dl.acm.org/doi/pdf/10.1145/1365815.1365816 Mapreduce:https://dl.acm.org/doi/pdf/10.1145/1327452.1327492 Tips: 疫情期间,由于ACM开放了数字图书馆,所以可以直接访问(6月30日截止),以后可以通过DOI在sci-hub上下

qq_45101398的博客 1761

谷歌三篇重要论文读后感

-谷歌三篇重要论文读后感 粗略看完谷歌三篇论文,《Google Mapreduce》、《Google File System》、《Google Big Table》,说实话看的很迷茫,对于计算机的了解刚起步的我,实在很难这么短时间理解比较深刻的的论文,只能说有一个大致的印象。 之前初步了解到学习谷歌的三篇论文需要java、分布式、操作系统这些基础,也了解到大数据不可阻挡的趋势,大数据即是人工智能的...

Seven_huan的博客 944
上一篇: 谷歌三篇论文之一---GFS
下一篇: 记录一次MongoDB3.0.6版本wiredtiger与MMAPv1引擎的写入耗时对比
时冲
博客等级 码龄15年 12粉丝 35原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值