谷歌三篇论文之一---GFS

Google引爆大数据时代的三篇论文 Google三大理论(论文) 谈到Hadoop的起源,就不得不提Google的三驾马车:Google FS、MapReduce、BigTable。虽然Google没有公布这三个产品的源码,但是他发布了这三个产品的详细设计论文,奠定了风靡全球的大数据算法... 阅读详情
 Google文件系统 
      GFS是一个可扩展的分布式文件系统,用于大型的、分布式的、对大量数据进行访问的应用。它运行于廉价的普通硬件上,但可以提供容错功能。它可以给大量的用户提供总体性能较高的服务。 
1、设计概览 
(1)设计想定 
      GFS与过去的分布式文件系统有很多相同的目标,但GFS的设计受到了当前及预期的应用方面的工作量及技术环境的驱动,这反映了它与早期的文件系统明显不同的设想。这就需要对传统的选择进行重新检验并进行完全不同的设计观点的探索。 
     GFS与以往的文件系统的不同的观点如下: 
1、部件错误不再被当作异常,而是将其作为常见的情况加以处理。因为文件系统由成百上千个用于存储的机器构成,而这些机器是由廉价的普通部件组成并被大量的客户机访问。部件的数量和质量使得一些机器随时都有可能无法工作并且有一部分还可能无法恢复。所以实时地监控、错误检测、容错、自动恢复对系统来说必不可少。 
2、按照传统的标准,文件都非常大。长度达几个GB的文件是很平常的。每个文件通常包含很多应用对象。当经常要处理快速增长的、包含数以万计的对象、长度达TB的数据集时,我们很难管理成千上万的KB规模的文件块,即使底层文件系统提供支持。因此,设计中操作的参数、块的大小必须要重新考虑。对大型的文件的管理一定要能做到高效,对小型的文件也必须支持,但不必优化。 
3、大部分文件的更新是通过添加新数据完成的,而不是改变已存在的数据。在一个文件中随机的操作在实践中几乎不存在。一旦写完,文件就只可读,很多数据都有这些特性。一些数据可能组成一个大仓库以供数据分析程序扫描。有些是运行中的程序连续产生的数据流。有些是档案性质的数据,有些是在某个机器上产生、在另外一个机器上处理的中间数据。由于这些对大型文件的访问方式,添加操作成为性能优化和原子性保证的焦点。而在客户机中缓存数据块则失去了吸引力。 
4、工作量主要由两种读操作构成:对大量数据的流方式的读操作和对少量数据的随机方式的读操作。在前一种读操作中,可能要读几百KB,通常达 1MB和更多。来自同一个客户的连续操作通常会读文件的一个连续的区域。随机的读操作通常在一个随机的偏移处读几个KB。性能敏感的应用程序通常将对少量数据的读操作进行分类并进行批处理以使得读操作稳定地向前推进,而不要让它来来回回的读。 
5、工作量还包含许多对大量数据进行的、连续的、向文件添加数据的写操作。所写的数据的规模和读相似。一旦写完,文件很少改动。在随机位置对少量数据的写操作也支持,但不必非常高效。 
6、系统必须高效地实现定义完好的大量客户同时向同一个文件的添加操作的语义。 
(2)系统接口 
     GFS提供了一个相似地文件系统界面,虽然它没有向POSIX那样实现标准的API。文件在目录中按层次组织起来并由路径名标识。 
(3)体系结构: 
谷歌三篇论文之一---GFS


      一个GFS集群由一个master和大量的chunkserver构成,并被许多客户(Client)访问。如图1所示。Master和 chunkserver通常是运行用户层服务进程的Linux机器。只要资源和可靠性允许,chunkserver和client可以运行在同一个机器上。 
      文件被分成固定大小的块。每个块由一个不变的、全局唯一的64位的chunk-handle标识,chunk-handle是在块创建时由 master分配的。ChunkServer将块当作Linux文件存储在本地磁盘并可以读和写由chunk-handle和位区间指定的数据。出于可靠性考虑,每一个块被复制到多个chunkserver上。默认情况下,保存3个副本,但这可以由用户指定。 
       Master维护文件系统所有的元数据(metadata),包括名字空间、访问控制信息、从文件到块的映射以及块的当前位置。它也控制系统范围的活动,如块租约(lease)管理,孤儿块的垃圾收集,chunkserver间的块迁移。Master定期通过HeartBeat消息与每一个 chunkserver通信,给chunkserver传递指令并收集它的状态。 
      与每个应用相联的GFS client代码实现了文件系统的API并与master和chunkserver通信以代表应用程序读和写数据。client与master的交换只限于对元数据(metadata)的操作,所有数据方面的通信都直接和chunkserver联系。 
       client 和chunkserver都不缓存文件数据。因为client缓存的益处微乎其微,这是由于数据太多或工作集太大而无法缓存。不缓存数据简化了 client 程序和整个系统,因为不必考虑缓存的一致性问题。但client缓存元数据(metadata)。Chunkserver也不必缓存文件,因为块是作为本地文件存储的。 
(4)单master。 
       只有一个master也极大的简化了设计并使得master可以根据全局情况作出先进的块放置和复制决定。但是我们必须要将master对读和写的参与减至最少,这样它才不会成为系统的瓶颈。Client从来不会从master读和写文件数据。Client只是询问master它应该和哪个 chunkserver联系。Client在一段限定的时间内将这些信息缓存,在后续的操作中Client直接和chunkserver交互。 
谷歌三篇论文之一---GFS

      以上图2解释一下一个简单的读操作的交互。 
1、client使用固定的块大小将应用程序指定的文件名和字节偏移转换成文件的一个块索引(chunk index)。 
2、给master发送一个包含文件名和块索引的请求。 
3、master回应对应的chunk handle和副本的位置(多个副本)。 
4、client以文件名和块索引为键缓存这些信息。(handle和副本的位置)。 
5、Client 向其中一个副本发送一个请求,很可能是最近的一个副本。请求指定了chunk handle(chunkserver以chunk handle标识chunk)和块内的一个字节区间。 
6、除非缓存的信息不再有效(cache for a limited time)或文件被重新打开,否则以后对同一个块的读操作不再需要client和master间的交互。 
通常Client可以在一个请求中询问多个chunk的地址,而master也可以很快回应这些请求。 
(5)块规模: 
      块规模是设计中的一个关键参数。我们选择的是64MB,这比一般的文件系统的块规模要大的多。每个块的副本作为一个普通的Linux文件存储,在需要的时候可以扩展。 
      块规模较大的好处有: 
1、减少client和master之间的交互。因为读写同一个块只是要在开始时向master请求块位置信息。对于读写大型文件这种减少尤为重要。即使对于访问少量数据的随机读操作也可以很方便的为一个规模达几个TB的工作集缓缓存块位置信息。 
2、Client在一个给定的块上很可能执行多个操作,和一个chunkserver保持较长时间的TCP连接可以减少网络负载。 
3、这减少了master上保存的元数据(metadata)的规模,从而使得可以将metadata放在内存中。这又会带来一些别的好处。 
     不利的一面: 
     一个小文件可能只包含一个块,如果很多Client访问改文件的话,存储这些块的chunkserver将成为访问的热点。但在实际应用中,应用程序通常顺序地读包含多个块的文件,所以这不是一个主要问题。 
(6)元数据(metadata): 
       master存储了三种类型的metadata:文件的名字空间和块的名字空间,从文件到块的映射,块的副本的位置。所有的metadata都放在内存中。前两种类型的metadata通过向操作日志登记修改而保持不变,操作日志存储在master的本地磁盘并在几个远程机器上留有副本。使用日志使得我们可以很简单地、可靠地更新master的状态,即使在master崩溃的情况下也不会有不一致的问题。相反,master在每次启动以及当有 chunkserver加入的时候询问每个chunkserver的所拥有的块的情况。 
A、内存数据结构: 
      因为metadata存储在内存中,所以master的操作很快。进一步,master可以轻易而且高效地定期在后台扫描它的整个状态。这种定期地扫描被用于实现块垃圾收集、chunkserver出现故障时的副本复制、为平衡负载和磁盘空间而进行的块迁移。 
       这种方法的一个潜在的问题就是块的数量也即整个系统的容量是否受限与master的内存。实际上,这并不是一个严重的问题。Master为每个 64MB的块维护的metadata不足64个字节。除了最后一块,文件所有的块都是满的。类似的,每个文件的名字空间数据也不足64个字节,因为文件名是以一种事先确定的压缩方式存储的.如果要支持更大的文件系统,那么增加一些内存的方法对于我们将元数据(metadata)保存在内存种所获得的简单性、可靠性、高性能和灵活性来说,这只是一个很小的代价。 
B、块位置: 
       master并不为chunkserver所拥有的块的副本保存一个不变的记录。它在启动时通过简单的查询来获得这些信息。Master可以保持这些信息的更新,因为它控制所有块的放置并通过HeartBeat消息来监控chunkserver的状态。 
这样做的好处:因为chunkserver可能加入或离开集群、改变路径名、崩溃、重启等,一个集群中有成百个server,这些事件经常发生,这种方法就排除了master与chunkserver之间的同步问题。 
      另一个原因是:只有chunkserver才能确定它自己到底有哪些块,由于错误,chunkserver中的一些块可能会很自然的消失,这样在master中就没有必要为此保存一个不变的记录。 
C、操作日志: 
       操作日志包含了对metadata所作的修改的历史记录。它作为逻辑时间线定义了并发操作的执行顺序。文件、块以及它们的版本号都由它们被创建时的逻辑时间而唯一地、永久地被标识。 
       操作日志是如此的重要,我们必须要将它可靠地保存起来,并且只有在metadata的改变固定下来之后才将变化呈现给client。所以我们将操作日志复制到数个远程的机器上,并且只有在将相应的日志记录写到本地和远程的磁盘上之后才回答 client 的请求。 
        Master可以用操作日志来恢复它的文件系统的状态。为了将启动时间减至最小,日志就必须要比较小。每当日志的长度增长到超过一定的规模后,master就要检查它的状态,它可以从本地磁盘装入最近的检查点来恢复状态。 
创建一个检查点比较费时,master的内部状态是以一种在创建一个检查点时并不耽误即将到来的修改操作的方式来组织的。Master切换到一个新的日志文件并在一个单独的线程中创建检查点。这个新的检查点记录了切换前所有的修改。在一个有数十万文件的集群中用一分钟左右就能完成。创建完后,将它写入本地和远程的磁盘。 
(7)数据完整性 
      文件命名空间的修改必须是原子性的,它们只能由master处理:命名空间锁保证了操作的原子性和正确性,而master的操作日志在全局范围内定义了这些操作的顺序。 
      文件区间在修改之后 的状态 依赖于修改的类型,不论操作成功还是失败,也不论是不是并发操作。如果不论从哪个副本上读,所有的client都看到同样的数据,那么文件的这个区域就是一致的。如果文件的区域是一致的并且client可以看到修改操作所写的数据,那么它就是已定义的。如果修改是在没有并发写操作的影响下完成的,那么受影响的区域是已定义的,所有的client都能看到写的内容。成功的并发写操作导致区域未被定义但却是一致的,所有client看到的是同样的数据但是并无法反映出任何改变。失败的修改将使区间处于不一致的状态,不同的client看到不同的数据。 
       Write操作在应用程序指定的偏移处写入数据,而record append操作使得数据(记录)即使在有并发修改操作的情况下也会被加到GFS指定的偏移处,偏移地址被返回给client。 
      在一系列成功的修改操作后,最后的修改操作保证文件区域是已定义的。GFS通过对所有的副本执行同样顺序的修改操作并且使用块版本号检测过时的副本(由于chunkserver退出而导致丢失修改)来做到这一点。 
     因为client缓存了chunk位置信息,所以在更新缓存之前有可能从一个过时的副本中读取数据。但这有缓存的截止时间和文件的重新打开而受到限制。 
      在修改操作成功后,部件故障仍可以使数据受到破坏。GFS通过master和chunkserver间定期的handshake,借助校验和来检测对数据的破坏。一旦检测到,就从一个有效的副本尽快重新存储。只有在GFS检测前,所有的副本都失效,这个块才会丢失。 
谷歌三篇论文之一---GFS

 2、系统交互 
(1)租约(lease)和修改顺序: 
(2)数据流 
      我们的目标是充分利用每个机器的网络带宽,避免网络瓶颈和延迟 
     为了有效的利用网络,我们将数据流和控制流分离。数据是以流水线的方式在选定的chunkerserver链上线性的传递的。每个机器的整个对外带宽都被用作传递数据。为避免瓶颈,每个机器在收到数据后,将它收到数据尽快传递给离它最近的机器。 
(3)原子性的record Append: 
       GFS提供了一个原子性的添加操作:record append。在传统的写操作中,client指定被写数据的偏移位置,向同一个区间的并发的写操作是不连续的:区间有可能包含来自多个client的数据碎片。在record append中, client只是指定数据。GFS在其选定的偏移处将数据至少原子性的加入文件一次,并将偏移返回给client。 
       在分布式的应用中,不同机器上的许多client可能会同时向一个文件执行添加操作,添加操作被频繁使用。如果用传统的write操作,可能需要额外的、复杂的、开销较大的同步,例如通过分布式锁管理。在我们的作业量中,这些文件通常以多个生产者单个消费者队列的方式或合并从多个不同 client的综合结果。 
       Record append和前面讲的write操作的控制流差不多,只是在primary上多了一些逻辑判断。首先,client将数据发送到文件最后一块的所有副本上。然后向primary发送请求。Primary检查添加操作是否会导致该块超过最大的规模(64M)。如果这样,它将该块扩充到最大规模,并告诉其它副本做同样的事,同时通知client该操作需要在下一个块上重新尝试。如果记录满足最大规模的要求,primary就会将数据添加到它的副本上,并告诉其它的副本在在同样的偏移处写数据,最后primary向client报告写操作成功。如果在任何一个副本上record append操作失败,client将重新尝试该操作。这时候,同一个块的副本可能包含不同的数据,因为有的可能复制了全部的数据,有的可能只复制了部分。GFS不能保证所有的副本每个字节都是一样的。它只保证每个数据作为一个原子单元被写过至少一次。这个是这样得出的:操作要是成功,数据必须在所有的副本上的同样的偏移处被写过。进一步,从这以后,所有的副本至少和记录一样长,所有后续的记录将被指定到更高的偏移处或者一个不同的块上,即使另一个副本成了primary。根据一致性保证,成功的record append操作的区间是已定义的。而受到干扰的区间是不一致的。 
(4)快照(snapshot) 
      快照操作几乎在瞬间构造一个文件和目录树的副本,同时将正在进行的其他修改操作对它的影响减至最小。 
我们使用copy-on-write技术来实现snapshot。当master受到一个snapshot请求时,它首先撤销要snapshot的文件上块上的lease。这使得任何一个向这些块写数据的操作都必须和master交互以找到拥有lease的副本。这就给master一个创建这个块的副本的机会。 
      副本被撤销或终止后,master在磁盘上登记执行的操作,然后复制源文件或目录树的metadata以对它的内存状态实施登记的操作。这个新创建的snapshot文件和源文件(其metadata)指向相同的块(chunk)。 
      Snapshot之后,client第一次向chunk C写的时候,它发一个请求给master以找到拥有lease的副本。Master注意到chunk C的引用记数比1大,它延迟对用户的响应,选择一个chunk handle C’,然后要求每一有chunk C的副本的chunkserver创建一个块C’。每个chunkserver在本地创建chunk C’避免了网络开销。从这以后和对别的块的操作没有什么区别。 
3、MASTER操作 
       MASTER执行所有名字空间的操作,除此之外,它还在系统范围管理数据块的复制:决定数据块的放置方案,产生新数据块并将其备份,和其它系统范围的操作协同来确保数据备份的完整性,在所有的数据块服务器之间平衡负载并收回没有使用的存储空间。 
3.1 名字空间管理和加锁 
       与传统文件系统不同的是,GFS没有与每个目录相关的能列出其所有文件的数据结构,它也不支持别名(unix中的硬连接或符号连接),不管是对文件或是目录。GFS的名字空间逻辑上是从文件元数据到路径名映射的一个查用表。 
       MASTER在执行某个操作前都要获得一系列锁,例如,它要对/d1/d2…/dn/leaf执行操作,则它必须获得/d1,/d1/d2,…, /d1/d2/…/dn的读锁,/d1/d2…/dn/leaf的读锁或写锁(其中leaf可以使文件也可以是目录)。MASTER操作的并行性和数据的一致性就是通过这些锁来实现的。 
3.2 备份存储放置策略 
      一个GFS集群文件系统可能是多层分布的。一般情况下是成千上万个文件块服务器分布于不同的机架上,而这些文件块服务器又被分布于不同机架上的client来访问。因此,不同机架上的两台机器之间的通信可能通过一个或多个交换机。数据块冗余配置策略要达到两个目的:最大的数据可靠性和可用性,最大的网络带宽利用率。因此,如果仅仅把数据的拷贝置于不同的机器上很难满足这两个要求,必须在不同的机架上进行数据备份。这样即使整个机架被毁或是掉线,也能确保数据的正常使用。这也使数据传输,尤其是读数据,可以充分利用带宽,访问到多个机架,而写操作,则不得不涉及到更多的机架。 
3.3 产生、重复制、重平衡数据块 
       当MASTER产生新的数据块时,如何放置新数据块,要考虑如下几个因素:(1)尽量放置在磁盘利用率低的数据块服务器上,这样,慢慢地各服务器的磁盘利用率就会达到平衡。(2)尽量控制在一个服务器上的“新创建”的次数。(3)由于上一小节讨论的原因,我们需要把数据块放置于不同的机架上。 
       MASTER在可用的数据块备份低于用户设定的数目时需要进行重复制。这种情况源于多种原因:服务器不可用,数据被破坏,磁盘被破坏,或者备份数目被修改。每个被需要重复制的数据块的优先级根据以下几项确定:第一是现在的数目距目标的距离,对于能阻塞用户程序的数据块,我们也提高它的优先级。最后, MASTER按照产生数据块的原则复制数据块,并把它们放到不同的机架内的服务器上。 
        MASTER周期性的平衡各服务器上的负载:它检查chunk分布和负载平衡,通过这种方式来填充一个新的服务器而不是把其它的内容统统放置到它上面带来大量的写数据。数据块放置的原则与上面讨论的相同,此外,MASTER还决定那些数据块要被移除,原则上它会清除那些空闲空间低于平均值的那些服务器。 
3.4 垃圾收集 
       在一个文件被删除之后,GFS并不立即收回磁盘空间,而是等到垃圾收集程序在文件和数据块级的的检查中收回。 
      当一个文件被应用程序删除之后,MASTER会立即记录下这些变化,但文件所占用的资源却不会被立即收回,而是重新给文件命了一个隐藏的名字,并附上了删除的时间戳。在MASTER定期检查名字空间时,它删除超过三天(可以设定)的隐藏的文件。在此之前,可以以一个新的名字来读文件,还可以以前的名字恢复。当隐藏的文件在名字空间中被删除以后,它在内存中的元数据即被擦除,这就有效地切断了它和所有数据块的联系。 
      在一个相似的定期的名字空间检查中,MASTER确认孤儿数据块(不属于任何文件)并擦除它的元数据,在和MASTER的心跳信息交换中,每个服务器报告它所拥有的数据块,MASTER返回元数据不在内存的数据块,服务器即可以删除这些数据块。 
3.5 过时数据的探测 
       在数据更新时如果服务器停机了,那么它所保存的数据备份就会过时。对每个数据块,MASTER设置了一个版本号来区别更新过的数据块和过时的数据块。 
       当MASTER授权一个新的lease时,它会增加数据块的版本号并会通知更新数据备份。MASTER和备份都会记录下当前的版本号,如果一个备份当时不可用,那么它的版本号不可能提高,当ChunkServer重新启动并向MASTER报告它的数据块集时,MASTER就会发现过时的数据。 
        MASTER在定期的垃圾收集程序中清除过时的备份,在此以前,出于效率考虑,在各client,它会认为根本不存在过时的数据。作为另一个安全措施, MASTER在给client及关于数据块的应答或是另外一个读取数据的服务器数据是都会带上版本信息,在操作前client机和服务器会验证版本信息以确保得到的是最新的数据。 
4、容错和诊断 
4.1 高可靠性 
4.1.1 快速恢复 
       不管如何终止服务,MASTER和数据块服务器都会在几秒钟内恢复状态和运行。实际上,我们不对正常终止和不正常终止进行区分,服务器进程都会被切断而终止。client机和其它的服务器会经历一个小小的中断,然后它们的特定请求超时,重新连接重启的服务器,重新请求。 
4.1.2 数据块备份 
       如上文所讨论的,每个数据块都会被备份到放到不同机架上的不同服务器上。对不同的名字空间,用户可以设置不同的备份级别。在数据块服务器掉线或是数据被破坏时,MASTER会按照需要来复制数据块。 
4.1.3 MASTER备份 
        为确保可靠性,MASTER的状态、操作记录和检查点都在多台机器上进行了备份。一个操作只有在数据块服务器硬盘上刷新并被记录在MASTER和其备份的上之后才算是成功的。如果MASTER或是硬盘失败,系统监视器会发现并通过改变域名启动它的一个备份机,而client机则仅仅是使用规范的名称来访问,并不会发现MASTER的改变。 
4.2 数据完整性 
       每个数据块服务器都利用校验和来检验存储数据的完整性。原因:每个服务器随时都有发生崩溃的可能性,并且在两个服务器间比较数据块也是不现实的,同时,在两台服务器间拷贝数据并不能保证数据的一致性。 
      每个Chunk按64kB的大小分成块,每个块有32位的校验和,校验和和日志存储在一起,和user 数据分开。 
      在读数据时,服务器首先检查与被读内容相关部分的校验和,因此,服务器不会传播错误的数据。如果所检查的内容和校验和不符,服务器就会给数据请求者返回一个错误的信息,并把这个情况报告给MASTER。client机就会读其它的服务器来获取数据,而MASTER则会从其它的拷贝来复制数据,等到一个新的拷贝完成时,MASTER就会通知报告错误的服务器删除出错的数据块。 
       附加写数据时的校验和计算优化了,因为这是主要的写操作。我们只是更新增加部分的校验和,即使末尾部分的校验和数据已被损坏而我们没有检查出来,新的校验和与数据会不相符,这种冲突在下次使用时将会被检查出来。 
      相反,如果是覆盖现有数据的写,在写以前,我们必须检查第一和最后一个数据块,然后才能执行写操作,最后计算和记录校验和。如果我们在覆盖以前不先检查首位数据块,计算出的校验和则会因为没被覆盖的数据而产生错误。 
      在空闲时间,服务器会检查不活跃的数据块的校验和,这样可以检查出不经常读的数据的错误。一旦错误被检查出来,服务器会拷贝一个正确的数据块来代替错误的。 
4.3 诊断工具 
       广泛而细致的诊断日志以微小的代价换取了在问题隔离、诊断、性能分析方面起到了重大的作用。GFS服务器用日志来记录显著的事件(例如服务器停机和启动)和远程的应答。远程日志记录机器之间的请求和应答,通过收集不同机器上的日志记录,并对它们进行分析恢复,我们可以完整地重现活动的场景,并用此来进行错误分析。 
6 测量 
6.1 测试环境 
     一台主控机,两台主控机备份,16台数据块服务器,16台client机。 
    每台机器:2块PIII1.4G处理器,2G内存,2块80G5400rpm的硬盘,1块100Mbps全双工网卡 
    19台服务器连接到一个HP2524交换机上,16台客户机俩接到领外一台交换机上,两台交换机通过1G的链路相连
Google三篇论文之GFS(中文版) Google的三篇论文之一 google-file-system这是Google文件系统GFS的原理,也是HDFS的实现原理。 立即下载

相关推荐

用Matlab机器人工具箱搞定六轴机械臂建模:从DH参数到3D可视化(附完整代码)

本文详细介绍了如何使用Matlab机器人工具箱进行六轴机械臂建模,涵盖从DH参数转换到3D可视化的完整流程。通过正运动学验证、逆解计算和工作空间分析等实战案例,帮助开发者快速掌握机械臂建模技巧,并提供性能优化建议和完整代码示例。

weixin_28733637的博客 361

GFS论文分析

阅读GFS论文之后的总结

qq_40229166的博客 1716

安卓开发者必看:Win11最新Fastboot驱动安装避坑指南(含Android Bootloader Interface选择技巧)

本文为安卓开发者提供了Windows 11系统下Fastboot驱动安装的详细指南,特别针对Android Bootloader Interface选择技巧和多设备并发连接时的驱动冲突问题。通过解析Windows 11的特殊驱动验证机制,推荐使用Google官方USB驱动,并提供安装流程、版本选择建议及疑难问题排查方法,帮助开发者高效完成开发环境配置。

sea99的博客 1337

Google大数据论文GFS(Google File System)介绍

Google大数据论文GFS(Google File System)介绍 众所周知,现在大数据技术的应用越来越成为一种趋势,但是很多人只是听过一个名词,并不真正的了解大数据具体是在进行什么样的工作

dddgg__的博客 2245

CPU性能优化实战:寄存器重命名如何解决指令冲突(附3种实现方案对比)

本文深入解析了CPU性能优化中的关键技术——寄存器重命名,详细阐述了其如何通过物理寄存器堆(PRF)和重命名映射表(RAT)解决WAW、WAR、RAW等指令冲突,从而释放超标量处理器的并行潜力。文章重点对比了基于ROB、ARF扩展和统一PRF三种主流实现方案的设计权衡、电路代价与功耗影响,并探讨了现代处理器中并行重命名与状态恢复的实战机制。

weixin_29252171的博客 269

数据分析案例-顾客购物数据可视化分析

本数据集来源于kaggle,原始数据集共有99457条,10个特征变量,各变量含义解释如下:Invoice_no:发票编号。标称。字母“I”和唯一分配给每个操作的 6 位整数的组合。customer_id:客户编号。标称。字母“C”和唯一分配给每个操作的 6 位整数的组合。gender:客户性别的字符串变量。age:顾客年龄的正整数变量。category:所购买产品的类别的字符串变量。quantity:每笔交易的每种产品(商品)的数量。数字。price:单价。数字。

m0_64336780的博客 1万+

GFS论文解读(一)——设计概述

本文对GFS论文的基础架构设计进行了解读,希望可以帮你更好的了解分布式文件系统

jx的博客 1213

全覆盖路径规划开源项目Clean-robot-turtlebot3关键函数解析(上)

本系列文章主要介绍全覆盖路径规划开源项目Clean-robot-turtlebot3的相关内容,包含如下四篇文章,分别介绍了开源项目Clean-robot-turtlebot3流程的概括总结、ROS坐标系常用坐标及其变换、Clean-robot-turtlebot3关键函数解析等内容。

慕羽★的博客 2778

The Google File System中文版

<br />我们设计并实现了Google GFS文件系统,一个面向大规模数据密集型应用的、可伸缩的分布式文件系统。GFS虽然运行在廉价的普遍硬件设备上,但是它依然了提供灾难冗余的能力,为大量客户机提供了高性能的服务。 虽然GFS的设计目标与许多传统的分布式文件系统有很多相同之处,但是,我们的设计还是以我们对自己的应用的负载情况和技术环境的分析为基础的,不管现在还是将来,GFS和早期的分布式文件系统的设想都有明显的不同。所以我们重新审视了传统文件系统在设计上的折衷选择,衍生出了完全不同的设计思路。 GFS

1088

【局部规划模块轨迹优化算法】Teb_planner规划算法

认知有限,望大家多多包涵,有什么问题也希望能够与大家多交流,共同成长!本文先对****做个简单的介绍,具体内容后续再更,其他模块可以参考去我其他文章提示:以下是本篇文章正文内容由于ROS中的局部路径规划器比较老了,所以我推荐大家使用比较新的局部路径规划器teb_local_planner。teb_local_planner是基于弹性时间带碰撞约束的算法,算法将动态障碍物、运行时效、路径平滑性等约束做综合考虑,在复杂环境下有更优秀的表现。

qq_35635374的博客 953

商用车电子电气零部件电磁兼容条件和试验(15)—HV-LV 耦合衰减(HV-LV)

本系列文章主要讲解商用车电子/电气零部件或系统的传导抗干扰、传导发射和辐射抗干扰、电场辐射发射以及静电放电等试验内容及要求,高压试验项目内容及要求。

零零刷的博客 289

谷歌三篇论文(GFS,MapReduce,BigTable)

Google引爆大数据时代的三篇论文 谈到Hadoop的起源,就不得不提Google的三驾马车:Google FS、MapReduce、BigTable。虽然Google没有公布这三个产品的源码,但是他发布了这三个产品的详细设计论文,奠定了风靡全球的大数据算法的基础! 一,GFS—-2003 2003年,Google发布Google File System论文,这是一个可扩展的分布式文件系统...

好学若饥,谦卑若愚 2万+

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

开启大数据时代谷歌三篇论文-GFS

摘要 我们设计并实现了 Google GFS 文件系统,一个面向大规模数据密集型应用的、可伸缩的分布式文件系统。 GFS 虽然运行在廉价的普遍硬件设备上,但是它依然了提供灾难冗余的能力,为大量客户机提供了高性能的 服务。 虽然 GFS 的设计目标与许多传统的分布式文件系统有很多相同之处,但是,我们的设计还是以我们对 自己的应用的负载情况和技术环境的分析为基础的,不管现在还是将来,GFS 和早期...

BUPT-WT的博客 4159

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

【Hadoop】谷歌的三篇论文(GFS、MapReduce分布式计算模型 、BigTable大表)

谷歌的三篇论文(GFS、MapReduce分布式计算模型 、BigTable大表)0 谷歌的基本思想:三驾马车1 第一篇论文:GFS1.1 Google的GFS分布式文件系统的基本原理1.2 HDFS1.2.1 节点介绍1.2.2 数据块与机架感知1.2.3 客户端日志1.2.4 数据块位置信息1.2.5 倒排索引2 第二篇论文:MapReduce分布式计算模型2.1 MapReduce基本原理2.2 上机操作3 第三篇论文:BigTable大表3.1 大表基础理念3.2 大表与传统数据库表结构对比 手动

lys_828的博客 1万+

谷歌三篇重要论文读后感(作业)

谷歌三篇重要论文读后感(作业) 谷歌三篇重要论文分别讲述了GFS(2003),MapReduce(2004),BigTable(2006),它们对Hadoop的起源有很大的影响(hadoop运行的系统要求是 linux,hadoop 是用 java写的分布式 ,处理大数据的框架。) GFS全称Google File System其是一个可扩展的分布式文件系统,用于大型的、分布式的、对大量数据进行访...

Jessica_HW的博客 922

别再死记硬背了!用大白话图解谷歌三篇论文(GFS/MapReduce/BigTable)如何塑造了今天的Hadoop生态

本文通过图书馆、流水线和乐高积木的生动比喻,解析了谷歌三篇经典论文(GFS/MapReduce/BigTable)如何奠定Hadoop生态的基础。GFS实现分布式存储,MapReduce革新并行计算,BigTable重构数据库设计,共同塑造了现代大数据处理框架。这些核心思想至今仍在Spark、Flink等新一代技术中延续。

weixin_30323631的博客 322

google三大论文(Bigtable、 GFS、 Google MapReduce)

做个中文版下载源: http://dl.iteye.com/topics/download/38db9a29-3e17-3dce-bc93-df9286081126 做个原版地址链接: http://labs.google.com/papers/gfs.html http://labs.google.com/papers/bigtable.html http://labs.google.com/p...

走向程序的康庄大道 1751

谷歌GFS+Mapreduce+Bigtable三大论文中英文版本

谷歌GFS+Mapreduce+Bigtable三大论文中英文版本  Bigtable中英文 Word文档 (两个文件) GFS中英文 (word) MapReduce中英文 (Word)   分享一下,关于谷歌的三篇论文,弄成了 中英文 word文档,便于复制粘贴。  ...

蓝创精英团队 1714

对谷歌三篇重要论文的一些感想

对谷歌三篇重要论文的一些感想 在老师的指引下,我看了google著名的三大论文。虽然本人不是计算机相关专业的学生,对其中很多内容半知半解,但还算有所收获。以下就是我对三篇论文内容的一点浅显理解和小小的感悟。 1.GFS Google GFS是一个文件系统,也是大数据的基石之一。 他的优点在于不会占用太多主机资源,运行于廉价的普通设备。这样使之具有灾难冗余能力,且在不影响大部分用户性能体验的前提下...

mw48323的博客 624

【转】谷歌大数据的三篇论文

原文链接:http://blog.bizcloudsoft.com/?p=292 Google云的papers Google的著名的三篇大数据的论文,分别讲述GFS、MapReduce、BigTable,取自网上,排版整理完成,以供参考。 下载: Google File System中文版 Google MapReduce中文版 Google Bigtable中文版 转载于:https...

weixin_30745553的博客 113

google三篇重要论文(英文原文)

google三篇重要论文(英文原文) GFS:https://dl.acm.org/doi/pdf/10.1145/945445.945450 BigTable:https://dl.acm.org/doi/pdf/10.1145/1365815.1365816 Mapreduce:https://dl.acm.org/doi/pdf/10.1145/1327452.1327492 Tips: 疫情期间,由于ACM开放了数字图书馆,所以可以直接访问(6月30日截止),以后可以通过DOI在sci-hub上下

qq_45101398的博客 1761

谷歌的三篇重要论文读后感

谷歌的三篇重要论文读后感 马云曾经说过:“21世纪的竞争是数据的竞争,谁掌握了数据,谁就掌握了未来。”由此可见,大数据在当今社会中是多么重要。从百度的检索信息,淘宝的购买数据到自媒体的新闻数据……我们的生活中似乎处处都充斥着数据,仿佛我们已经被数据包围。特别是最近看了谷歌的三篇重要论文,我更是感受到了大数据在社会发展中的巨大作用,也对...

qq_44910586的博客 771

Google三篇论文感想

进入21世纪以来,随着上网的人越来越多,网络中产生的数据也越来越多。人们面临着两个关键问题: 1、海量数据如何存储?2、海量数据如何计算?而谷歌公司在2003年至2006年发布的三篇论文则为解决两个问题提供了思路,从此引爆了大数据时代。 GFS文件系统是一个可扩展的分布式文件系统,用于大型的、分布式的、对大量数据进行访问的应用。GFS由一个master和大量的chunkserver...

qq_44940391的博客 701

谷歌三篇论文的读后感

谷歌三篇论文的读后感 马云曾经说过:“21世纪的竞争是数据的竞争,谁掌握了数据,谁就掌握了未来。”由此可见,大数据在当今社会中是多么重要。从百度的检索信息,淘宝的购买数据到自媒体的新闻数据……我们的生活中似乎处处都充斥着数据,仿佛我们已经被数据包围。特别是最近看了谷歌的三篇重要论文,我更是感受到了大数据在社会发展中的巨大作用,也对大数据...

waspqaq的博客 230

Google三驾马车之GFS

谷歌在2003到2006年间发表了三篇论文,《MapReduce: Simplified Data Processing on Large Clusters》,《Bigtable: A Distributed Storage System for Structured Data》和《The Google File System》介绍了Google如何对大规模数据进行存储和分析。这三篇论文开启了工业界的大数据时代,被称为Google的三驾马车。 背景介绍 在21世纪初,互联网上的内容,大多数企业需要存储的数据

wenqi 2017
上一篇: 谷歌三篇论文之二---MapReduce
下一篇: 谷歌三篇论文之三---BigTable
时冲
博客等级 码龄15年 12粉丝 35原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值