gluster hash分布(DHT)的工作原理

最新推荐文章于 2023-07-30 08:27:38 发布
最新推荐文章于 2023-07-30 08:27:38 发布 · 442 阅读 · 0
文章标签：

#gluster #分布式文件系统

本文详细解析了Gluster中哈希码计算的机制，包括如何使用文件名来确定文件存放的目录，以及trusted.refungofs.dht属性在分配哈希码范围上的作用。
gluster的hashcode计算完全依赖文件名(文件的filename,不包括各种路径)
brick里的每个文件夹的trusted.refungofs.dht属性指定了该文件夹容纳的hashcode的范围,具体如下:
trusted.refungofs.dht的前8个数字目前一直是00000001,接着8个数字目前一直是00000000
然后八个数字是起始hash值,最后八个数字是结束hash值(不知道是开区间还是闭区间)
那么DHT就能知道每个文件应该放置的文件夹

[url]http://joejulian.name/blog/dht-misses-are-expensive/[/url]
[url]http://hekafs.org/index.php/2011/04/glusterfs-extended-attributes/[/url]
[url]http://hekafs.org/index.php/2012/03/glusterfs-algorithms-distribution/[/url]
关于gluster分布式哈希研究
weixin_42309053的博客
07-10 449
1. 背景 GlusterFS使用DHT模块来聚合多台机器的物理存储空间，形成一个单一的全局命名空间，并使用卷（Volume）这一逻辑概念来表示这样的空间。每个卷可以包含一个或多个子卷（Subvolume），子卷也可称为DHT子卷，同样是一个逻辑概念，一个子卷可以是单个brick、一个副本卷（Replica）或一个EC（Erasure Coding）卷，而副本卷和EC卷自身又都是由一组brick构成。而brick则是GlusterFS中的最基本存储单元，表示为一个机器上的本地文件系统导出目录。 D...
Glusterfs解析之分布式(dht)原理和缺陷
lblxyh的专栏
12-04 5083
目录 GlusterFS之分布式（Distribute ）分析 1   GlusterFS分布式概念（应用场景） 1.1   谁发现了哪些问题，导致需要GlusterFS分布式？（who） 1.2 什么地方发现了问题，导致需要GlusterFS分布式？（who） 1.3 什么时间发现了问题，导致需要GlusterFS分布式？（when） 1.4 GlusterFS文件系统出现
gluster AFR的工作原理简析
大神带我来搬砖
09-05 468
在gluster的brick server上,每个文件的形如"trusted.afr.*"的扩展属性用来记录复制有关的信息. *是所有副本的名称,比如一个文件a.txt,在副本client-0和client-1上,用getfattr -m . -d -e hex命令查看该文件,就会有 [quote]client-0=0x000000000000000000000000 client-1=0x...
Glusterfs3.3.1DHT(hash分布)源代码分析
weixin_34075268的博客
12-07 212
1.DHT简介 GlusterFS使用算法进行数据...
Hash魔法：分布式哈希算法
wangpengqi的专栏
07-31 1819
我们从浅入深一步一步介绍什么是分布式哈希表。 哈希函数 哈希函数是一种计算方法，它可以把一个值A映射到一个特定的范围[begin, end]之内。对于一个值的集合{k1, k2, … , kN}，哈希函数把他们均匀的映射到某个范围之中。这样，通过这些值就可以很快的找到与之对应的映射地址{index1, index2, … , indexN}。对于同一个值，哈希函数要能保证对这个值的运算
glusterfs架构和原理
Arlssaze的博客
11-16 846
前言 分布式存储已经研究很多年，但直到近年来，伴随着谷歌、亚马逊和阿里等互联网公司云计算和大数据应用的兴起，它才大规模应用到工程实践中。如谷歌的分布式文件系统GFS、分布式表格系统google Bigtable，亚马逊的对象存储AWS，阿里的TFS等都是很好的代表，同时也催生了一大批优秀的开源分布式存储系统，包括ceph、swift、Lustre和glusterfs等。 分布式存储系统 分布式存储按其存储接口分为三种：文件存储、块存储和对象存储。 文件存储 通常支持POSIX接口（如gluster
GlusterFS源码分析——dht_create
带着你的名字的博客
08-26 1027
GlusterFS源码分析——dht_create 1、简介 GlusterFS的分布式哈希表（DIstributed Hash Table，简称DHT）机制是数据分布的核心机制，以目录作为文件分布的基本单位。当用户在客户端创建目录的时候，会在所有brick进行创建，但是创建目录的时候，会根据哈希算法确定文件具体存放在哪个brick上。也就是说，所有brick都有相同的目录结构，但是文件只会存储于特定的brick上，根据文件所在目录的gfid和文件名寻找实际存储文件的brick。 我们知道，在Gluster
关于gluster分布式副本仲裁复用研究
weixin_42309053的博客
07-10 996
1.背景 GlusterFS使用DHT模块来聚合多台机器的物理存储空间，形成一个单一的全局命名空间，并使用卷（Volume）这一逻辑概念来表示这样的空间。每个卷可以包含一个或多个子卷（Subvolume），子卷也可称为DHT子卷，同样是一个逻辑概念，一个子卷可以是单个brick、一个副本卷（Replica）或一个EC（Erasure Coding）卷，而副本卷和EC卷自身又都是由一组brick构成。而brick则是GlusterFS中的最基本存储单元，表示为一个机器上的本地文件系统导出目录。 ...
Glusterfs之rpc模块源码分析(上）之RPC概述
星.云计算
05-13 233
我的新浪微博：http://weibo.com/freshairbrucewoo。 欢迎大家相互交流，共同提高技术。 一、RPC概述 第一节、RPC结构网络 RPC（RemoteProcedureCallProtocol）——远程过程调用协议，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在，如TCP或UDP，为...
GlusterFS从这里开始
Mr__Chao的博客
10-30 2044
** 一、简介 ** GlusterFS是一个开源免费的分布式文件系统，具有完全去中心化、堆栈式设计、全局统一命名空间、高可用、高性能和横向扩展等特点。GlusterFS通过DHT算法，可轻松将集群规模扩展至上千节点，同时，官方推荐使用的“复制卷”可有效地使系统摆脱单点故障和单点性能瓶颈等多种难题。在CAP分布式系统基础理论的约束下，GlusterFS选择“AP”作为系统的核心宗旨，即保证系统具备...
Glusterfs扩展属性
glusterfs专栏
03-06 277
英文原文： http://hekafs.org/index.php/2011/04/glusterfs-extended-attributes/   天马行空的意译，对正确性负责，不一定全和准确。   扩展属性是现代文件系统普遍支持，而又不容易被用户发现的特性。   Glusterfs中DHT,AFT, stripe都广泛使用了扩展属性即xattr。   xattr是一个key...
图说DHT
glusterfs专栏
02-28 288
  dht-diskusage.c    它包含dht中关于磁盘空间的获取与控制相关函数。      图片中箭头代表数据流，其他是调用流。 图片中的核心数据是conf->du_stats, 图片左半部分的函数负责获取数据存入du_stats结构体，而右半部分函数使用du_stats判断subvol是否可以再存放文件。   dht-rename.c   它包含dht层...
分布式一致性hash算法简介
远古大猛犸
06-14 1809
分布式一致性hash算法简介 当你看到“分布式一致性hash算法”这个词时，第一时间可能会问，什么是分布式，什么是一致性，hash又是什么。在分析分布式一致性hash算法原理之前，我们先来了解一下这几个概念。 分布式 分布式（distributed）是指在多台不同的服务器中部署不同的服务模块，通过远程调用协同工作，对外提供服务。 现有系统system，有modelA、modelB、modelC等服务模块。现在要以集中式（集群，cluster）和分布式的方式进行部署，下面我们来看看它们部署的示意图。
GlusterFS文件系统弹性哈希算法
崔炳华
04-17 4792
原文链接：http://www.taocloudx.com/index.php?a=shows&catid=4&id=66 （作者：林世跃@TaoCloud） GlusterFS采用独特的无中心对称式架构，与其他有中心的分布式文件系统相比，它没有专用的元数据服务集群。在文件定位的问题上，GlusterFS使用DHT算法进行文件定位，集群中的任何服务器和客户端只需根据
Greenplum 分布键 distribute hash分布和随机分布
是个好男人的博客
04-18 4888
Greenplum是分布式系统，创建表时需要指定分布键，目的是为了数据能够平均分布到各个段，所以选择分布键十分重要，选择错了会导致数据不一致。 分布方式： Hash分布：按分布键对数据列进行hash取模存放到对应的segment。 随机分布：数据随机分布在数据库，每次查询都会查询所有的segment。 1.分布策略 （1）hash分布 Greenplum默认使用hash分布策略。该策略可选一个或者多个列作为分布键（distribution key，简称DK）。分布键做...
glusterfs分布式文件系统详细原理
热门推荐
wolf
07-17 4万+
1.Glusterfs简介    GlusterFS是Scale-Out存储解决方案Gluster的核心，它是一个开源的分布式文件系统，具有强大的横向扩展能力，通过扩展能够支持数PB存储容量和处理数千客户端。GlusterFS借助TCP/IP或InfiniBandRDMA网络将物理分布的存储资源聚集在一起，使用单一全局命名空间来管理数据。 说起glusterfs可能比较陌生，可能大
分布式集群如何实现高效的数据分布
weixin_46699878的博客
11-18 731
一、前言 随着互联网的发展，用户产生的数据越来越多，企业面临着庞大数据的存储问题，目前市面上主流的分布式大数据文件系统，都是对数据切片打散，通过离散方法将数据散列在集群的所有节点上，本文将带你了解DHT（Distributed Hash Table）：分布式哈希表是如何实现数据的分布式离散存储的。 DHT（Distributed Hash Table）：分布式哈希表 二、技术背景 互联网发展早期，数据通常存储在单个服务器上，初期数据增长较为缓慢，可以通过提升单机的存储能力满足数据的增长需求；随着互联网普及程
distribute by hash
qq_41081716的博客
07-30 3583
哈希分布还具有另一个优势：当在查询中需要进行基于这三列的连接操作时，具有相同哈希值的数据很可能位于相同的分区中，这样可以避免在多个分区之间进行数据移动，从而加速查询操作。通过这种方式，数据被均匀地分布到不同的分区，从而实现负载均衡，使每个分区处理的数据量大致相同，避免出现数据倾斜，提高查询性能和系统吞吐量。使用 "distribute by hash" 和合适的哈希列来分布数据是一种常见的数据库优化手段，能够提高数据库的性能和可扩展性。中，指定了数据在表分区中的分布方式。哈希函数将这三列的值作为输入，并。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值