【分享】Bigtable架构图

最新推荐文章于 2024-09-25 16:28:01 发布
最新推荐文章于 2024-09-25 16:28:01 发布
阅读量219 收藏
点赞数
分类专栏： 技术文章 文章标签： 技术文章
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/dengyll/article/details/84208397
版权
本文通过绘制Bigtable与HBase架构对比图，帮助读者更清晰地理解这两个分布式存储系统的内部结构与工作原理，包括核心组件的对应关系与功能特性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

最近在研究Bigtable的实现原理，网上搜索了一把，几乎全是Google的那篇论文，由于涉及的点众多，看起来比较吃力，也没有一个宏观的架构用于理解，
因此，自己画了一个，分享给大家，欢迎各位批评指正，共同完善！

HBase可以认为是山寨版的Bigtable，因此其架构也是类似的，只是各个部件换了名字，对应关系如下：
Chubby ===> Zookeeper
Master  ===> Master
GFS     ===> HDFS
Tablet Server ===> HRegion Server
SSTable ===> HFile
Tablet Log ===> HLog

详细架构图如下，对照此图再去读论文，应该更加容易理解：



附：
英文论文地址：http://research.google.com/archive/bigtable.html
中文论文地址：http://www.dbthink.com/?p=493 

Diagrams 系统架构图绘制工具： 使用 Python 绘制漂亮的系统架构图
AI天才研究院
07-30 8879
Diagrams Diagram as Code. Diagrams lets you draw the cloud system architecture in Python code. It was born for prototyping a new system architecture design without any design tools. You can als...
Bigtable：一个分布式的结构化数据存储系统[中文版] pdf
06-30
Bigtable是一个分布式的结构化数据存储系统，它被设计用来处理海量数据：通常是分布在数千台普通服务器上的PB级的数据。Google的很多项目使用Bigtable存储数据，包括Web索引、Google Earth、Google Finance。这些应用对Bigtable提出的要求差异非常大，无论是在数据量上（从URL到网页到卫星图像）还是在响应速度上（从后端的批量处理到实时数据服务）。尽管应用需求差异很大，但是，针对Google的这些产品，Bigtable还是成功的提供了一个灵活的、高性能的解决方案。本论文描述了Bigtable提供的简单的数据模型，利用这个模型，用户可以动态的控制数据的分布和格式；我们还将描述Bigtable的设计和实现。
【原创】Bigtable架构图
华仔-技术博客
04-21 7877
最近在研究Bigtable的实现原理，网上搜索了一把，几乎全是Google的那篇论文，由于涉及的点众多，看起来比较吃力，也没有一个宏观的架构用于理解， 因此，自己画了一个，分享给大家，欢迎各位批评指正，共同完善！ HBase可以认为是山寨版的Bigtable，因此其架构也是类似的，只是各个部件换了名字，对应关系如下： Chubby ===> Zookeeper Master  ===>
分布式结构化数据表Bigtable
缘友一世的博客
04-14 1544
当新的子表产生，例如通过创建新表、表合并或子表分裂，主服务器会将它们分配给有足够空间的子表服务器。这个元数据表由多个元数据子表组成，其中有一个特殊的子表称为根子表，它是元数据表的首条记录，包含了其他所有元数据子表的地址。当需要查询特定子表的位置时，系统首先从Chubby获取根子表的地址，通过这个地址读取到所需元数据子表的位置，最后从元数据子表中找到目标子表的具体地址。如果是后者，主服务器将停用该子表服务器，并把其上的子表转移给其他服务器。Bigtable系统的内部采用的是一种类似B+树的三层查询体系。
Bigtable数据模型和架构
热门推荐
Tyler_Zx的博客
05-05 1万+
Introduction 简介 Data Model 数据模型 Rows 行 Column Families 列族 Timestamps 时间戳 Bigtable数据模型知识整理 Bigtable架构 前言 最近在看Bigtable的论文，其中的数据模型这部分一直没有很好的理解。现在先将论文中的部分原文展示出来，并附上中文翻译。之后是自己对Bigtable数据模型知识的整...
HBase架构图
04-18
**HBase架构图** HBase，全称是Apache HBase，是一个分布式的、面向列的开源数据库，基于Google的Bigtable论文设计，是Apache Hadoop项目的一部分。它为大规模数据集（数十亿行，数百万列）提供随机访问和强一致性...
探索Google BigTable技术架构及应用
BigTable是Google在2006年发表的一篇分布式存储系统架构论文中的核心概念，是一种用于处理海量数据的分布式存储系统。它在设计上可适用于数据规模达到多个PB（Petabytes）级别的应用，因此在搜索引擎、地图服务、...
Google BigTable中文版.pdf
08-20
- **数据结构**：BigTable中的数据被组织为一个稀疏的、分布式的、持久化的多维排序图，通过行键（Row Key）、列键（Column Key）和时间戳（Timestamp）进行索引。 - 行键：用于唯一标识每一行数据，可以是任意字符...
分布式表格系统Google Bigtable详解
杰特JET的博客
04-10 2475
分布式表格系统Google Bigtable详解概述Bigtable架构数据分布保证副本位置与负载均衡存储表的分裂与合并存储引擎垃圾回收总结 概述 bigtable系统由表格组成，每行有一个主键（Row Key），每行又包含很多列(Column)，某一行的某一列构成一个单元（Cell），每个单元包含多个版本的数据。整体上看，Bigtable是一个分布式多维映射表： (row:string,column:string,timestamp:int64)−>string (row:string, colum
谷歌技术探究之BigTable
李兆龙的博客
08-11 1753
文章目录引言BigTable是什么数据模型基本实现思路优化总结 引言 其实对于这篇论文的简单介绍网上已经有很多了，所以这篇文章并不想去陈述其设计，而是想简单说一说我认为的亮点所在，虽说如此，我还是觉得我并没有get到什么其他人没有get到的东西，所以这是一篇比较无聊的纯记录性质的文章，方便过一段时间能够更快的会想起相关内容的细节。 BigTable是什么 这个问题在paper的开头就下了定义，即：Bigtable是一个分布式的结构化数据存储系统，它被设计用来处理海量数据：通常是分布在数千台普通服务器上的PB
存储相关概要–BigTable设计原理
fs3296的博客
02-03 1975
BigTable设计原理引言1 设计概述2 核心流程3 思考总结 引言 1 设计概述 2 核心流程 3 思考总结
Google三驾马车之Bigtable
wenqi
05-09 1156
谷歌在2003到2006年间发表了三篇论文，《MapReduce: Simplified Data Processing on Large Clusters》，《Bigtable: A Distributed Storage System for Structured Data》和《The Google File System》介绍了Google如何对大规模数据进行存储和分析。这三篇论文开启了工业界的大数据时代，被称为Google的三驾马车。本文介绍Bigtable的相关内容。 背景介绍 在21世纪初，互联
【大数据】bigtable，分布式数据库的鼻祖
BugMan的博客
04-20 5088
看懂这一篇，就能理解分布式数据库的核心，详聊分布式数据库的鼻祖bigtable。
Google BigTable架构详解
最新发布
wendao76的专栏
09-25 1535
Bigtable的元数据也是按Tablet方式分片、分级存储的。在Chubby中只记录顶级元数据的Tablet位置或文件名，然后通过级联二级元数据的Tablet，最终可以定位到用户数据的Tablet。Bigtable的数据模型是一个稀疏的、分布式的、持久化的多维有序映射表。通过分布式架构、面向列的数据模型、稀疏性设计以及元数据管理等机制，Bigtable能够高效地处理大规模数据集，满足各种复杂的应用需求。Bigtable是Google开发的一个高性能、可扩展的分布式存储系统，用于管理大规模的结构化数据。
Bigtable：一个分布式的结构化数据存储系统（中文版）
jason.sun.lee的专栏
05-26 1992
Bigtable：一个分布式的结构化数据存储系统译者：alex摘要Bigtable是一个分布式的结构化数据存储系统，它被设计用来处理海量数据：通常是分布在数千台普通服务器上的PB级的数据。Google的很多项目使用Bigtable存储数据，包括Web索引、Google Earth、Google Finance。这些应用对Bigtable提出的要求差异
简述 GFS & Chubby & Bigtable & Mapreduce
Bule_daze的博客
12-16 5614
分布式文件系统GFS Chubby锁服务 Bigtable的数据模型和系统架构 分布式计算编程模型Mapreduce Google文件系统（Google File System，GFS）是一个大型的分布式文件系统。它为 Google云计算提供海量存储，并且与Chubby、MapReduce 及 Bigtable 等技术结合十分紧密，处于所有核心技术的底层。 GFS ...
5分钟了解BigTable
qq490765184的博客
04-14 4774
一、如何存-数据存储格式 1. 基本的存储形式 (row:string, column:string, time:int64)→string Bigtable 是一个分布式, 多维, 映射表. 表中的数据通过一个行关键字（Row Key）、一个列关键字（Column Key）以及一个时间戳（Time Stamp）进行索引. 在Bigtable中一共有三级索引. 行关键字为第一级索引，列关键字为第二级索引，时间戳为第三级索引。 以上是关于bigtable的一个比较专业的定义，但专业的定义有时候在理
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值