GlusterFS之内存池（mem-pool）使用实例分析

最新推荐文章于 2024-05-14 15:40:04 发布
最新推荐文章于 2024-05-14 15:40:04 发布
阅读量3k 收藏 1
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 开源软件研究 分布式文件系统 分布式文件系统 文章标签： linux内核 pair null struct 新浪微博 list
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qiangweiloveforever/article/details/7515536
本文通过实例分析GlusterFS如何使用内存池技术。在初始化过程中，cli进程建立并初始化内存池。内存分配通过mem_pool_new宏实现，对象用完后归还内存池。最后介绍如何销毁内存池。内存池基于linux内核的slab算法，提高内存使用效率。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

我的新浪微博：http://weibo.com/freshairbrucewoo。

欢迎大家相互交流，共同提高技术。


上一篇博客详细分析了GlusterFS之内存池的实现技术，今天我们看看GlusterFS是怎么使用这个技术的。

第一步：分配和初始化：

cli进程在初始化的过程中会涉及到内存池的建立和初始化，具体涉及到内存池初始化的代码如下（在cli.c文件中的glusterfs_ctx_defaults_init函数）：


                

        

    

    
  


        

            

                

                

                了解本专栏
                
                
                  
                订阅专栏 解锁全文
                 
            

        


    



                



	

		

			

				
					
GlusterFS之内存池（mem-pool）实现原理及代码详解

				
			

			

				

					BruceWoo的专栏
				

				

					04-25
					
					3911
					
				

			

		

		

			
				
我的新浪微博：http://weibo.com/freshairbrucewoo。

欢迎大家相互交流，共同提高技术。
最近一直在研究glusterfs的源代码，自己也在上面做了一些小的改动。我最开始研究的是3.2.5这个版本，因为据同行和网上资料显示这个版本目前是最稳定的版本。glusterfs实现比较复杂，具体的设计思想和架构就不详细介绍了，网上有这方面的资料（优快云博客里面就有很好介

			
		

	



                

            
              



	

		

			

				
					
Glusterfs之rpc模块源码分析(中）之Glusterfs的rpc模块实现（3）

				
			

			

				

					BruceWoo的专栏
				

				

					05-14
					
					3243
					
				

			

		

		

			
				
我的新浪微博：http://weibo.com/freshairbrucewoo。
欢迎大家相互交流，共同提高技术。


第三节、rpc通信过程分析
前面两个小节分别对rpc服务端和客户端的建立流程做了详细的分析，也就是说rpc客户端和服务器端已经能够进行正常的通信了（rpc客户端已经通过connect链接上rpc服务器了），那么这一小节主要根据一个实际的例子来分析一个完整的rpc通信过

			
		

	



              


  
              

                


	

		

			

				
					
GlusterFS源码解析 —— GlusterFS 内存分配方式

				
			

			

				

					wangyuling1234567890的专栏
				

				

					04-27
					
					3602
					
				

			

		

		

			
				
GlusterFS 的内存分配主要有两种方式，一种是内存池分配，一种是普通内存分配。
不了解内存池使用的请查阅相关资料，这里不再解释。
内存池分配使用一个mem_pool对象来管理，看过内核代码的话对内存池的结构就不会陌生了。内核代码中好多管理就是利用内核list链表来进行。内存池结构如下：
struct mem_pool {
        struct list_head  list;

			
		

	





	

		

			

				
					
Glusterfs企业分布式存储技术

				
			

			

				

					因上努力，果上随缘。但行好事，莫问前程。
				

				

					07-01
					
					710
					
				

			

		

		

			
				
3.2 安装epel源




3.3 安装glusterfs源




3.4 安装配置glusterfs




3.5 配置前的准备工作(每个机器都执行)




3.6 创建Volume与其他操作







二、如何在企业中构建企业级分布式存储

1.存在的规划问题



2.搭建企业级的



3.Glusterfs文件系统的优化



4.监控及其日常维护......

			
		

	



		

			
		



	

		

			

				
					
GlusterFS性能调优基本思路

					
热门推荐

				
			

			

				

					刘爱贵的专栏
				

				

					01-08
					
					1万+
					
				

			

		

		

			
				
基于GlusterFS构建的集群NAS系统是一个复杂的系统工程，其整体性能表现与特定应用特征、硬件和软件配置等息息相关。系统部署时，如果性能与估算或经验值相差较大，则需要根据实际情况进行性能调优。根据Gluster系统组成，性能调优主要从硬件、OS系统和GlusterFS文件系统三大部分着手，通过测试和实验分析得出影响性能的关键点，然后有针对性的实施调优方法。导致性能问题的典型情景有如下几种：

			
		

	





	

		

			

				
					
GlusterFS无法启动原因及处理方案

				
			

			

				

					weixin_33755649的博客
				

				

					09-26
					
					1462
					
				

			

		

		

			
				
启动结果：Redirecting to /bin/systemctl status glusterd.serviceglusterd.service - GlusterFS, a clustered file-system server Loaded: loaded (/usr/lib/systemd/system/glusterd.service; enabled)...

			
		

	





	

		

			

				
					
GlusterFS 之内存池（mem-pool）使用实例分析

				
			

			

				

					06-18
				

			

		

		

			
				
### GlusterFS之内存池（mem-pool）使用实例分析  #### 一、概述  上一篇文章深入探讨了GlusterFS内部内存池(mem-pool)的实现机制与原理，本文将在此基础上进一步分析GlusterFS如何具体应用这项技术，并通过具体的...

			
		

	





	

		

			

				
					
CANDTU-200UR虚拟化技术指南：掌握优势与应对挑战

				
			

			

				

					
				

			

		

		

			
				
首先，本文概述了虚拟化技术的理论基础，详细阐述了资源抽象、隔离原理以及虚拟机监控器（Hypervisor）的作用，并分析了CANDTU-200UR的架构特点，包括硬件加速支持和虚拟化安全机制。其次，文档详细说明了CANDTU-200...

			
		

	





	

		

			

				
					
zabbix监控

				
			

			

				

					Pang的博客
				

				

					12-16
					
					3711
					
				

			

		

		

			
				
监控服务概述

1、实时查看服务状态
2、可以发送报警信息（邮件报警、短信报警、电话报警、微信报警、值班（大屏幕）报警）
3、可以进行数据分析（潜在风险、对业务部门给出数据建议）

实现监控的方式：

1）zabbix实现监控
2）nagios（监控报警功能较强大）+cacti（网络流量报警）
3）小米监控


如何搭建监控平台
###通过多个维度进行描述

1、网络模型OSI七层模型分析
2、网...

			
		

	





	

		

			

				
					
GlusterFs集群、卷的创建使用与管理

				
			

			

				

					weixin_33721344的博客
				

				

					05-09
					
					309
					
				

			

		

		

			
				
本博文将介绍glusterfs集群的创建过程；glusterfs的复制，条带，哈希等基本卷类型及实际生产中使用率最高的哈希复制卷类型的基本原理，数据存储方式及各种类型卷的创建和使用方法。glusterfs的安装方法见：http://wangziyin.blog.51cto.com/6948950/16498381、测试环境192.168.21.18 rhe...

			
		

	





	

		

			

				
					
GlusterFS与Ceph 性能测试报告

				
			

			

				

					09-17
				

			

		

		

			
				
GlusterFS与Ceph是不一样的存贮系统，GlusterFS更加针对分布式文件系统，虽然目前开发者也正在努力增加块与对象存贮服务。
由于两者在设计理念等各个方面有所不同，单纯的测试比较从功能应用的角度来说意义不大（如人们需要块及对象存贮时，目前GlusterFS只能部分提供或没有，块存贮也只能用于非生产环境，对象存贮还没有），但很多人使用时均会考虑将此两者文件服务作为其中一个重要应用，而同时，市场上流传着各类关于GlusterFS与Ceph对比的各类性能数据，实际情况倒底如可，我们不得而知，但我确实想知道真实的情况如何，或者大概的也行

			
		

	





	

		

			

				
					
GlusterFS性能调优

				
			

			

				

					SRE成长记
				

				

					03-06
					
					1109
					
				

			

		

		

			
				
GlusterFS性能调优

			
		

	





	

		

			

				
					
分布式文件系统的性能优化：HDFS和GlusterFS的实现

				
			

			

				

					AI天才研究院
				

				

					12-29
					
					867
					
				

			

		

		

			
				
1.背景介绍

分布式文件系统(Distributed File System, DFS)是一种在多个计算节点上存储数据，并提供统一文件系统接口的系统。分布式文件系统的主要优势是可扩展性和高可用性。随着大数据时代的到来，分布式文件系统的应用越来越广泛。

HDFS(Hadoop Distributed File System)和GlusterFS是两种常见的分布式文件系统。HDFS是一个基于Had...

			
		

	





	

		

			

				
					
鸿蒙内核源码分析 (TLFS 算法篇) | 图表解读 TLFS 原理

					
最新发布

				
			

			

				

					maniuT的博客
				

				

					05-14
					
					845
					
				

			

		

		

			
				
实时性，执行速度快，只需查询位图就能知道结果，最多查询两次一级位图，时间复杂度为O(1)。碎片少，浪费少，利用率高，因采用2次幂的方式，切割和合并非常的方便，很少出现外部碎片。真正的鸿蒙内存动态分配实现过程比这些要复杂些，但有了本文算法基础做铺垫看源码实现会容易很多。

			
		

	





	

		

			

				
					
glusterfs性能优化

				
			

			

				

					仇晗的专栏
				

				

					09-29
					
					1万+
					
				

			

		

		

			
				
glusterfs 3.x.x版本后，客户端不再有配置文件

			
		

	





	

		

			

				
					
Fastdfs源码分析1----内存池解析

				
			

			

				

					唐顺才的博客
				

				

					02-22
					
					1228
					
				

			

		

		

			
				
fastdfs依赖库

libevent
libfastcommon


libevnet都知道是一个高性能的轻量级网络库，设计模式为reactor反应堆模式。


Fastdfs原本只有一个工程源码。在某个版本开始走模块化道路，作者把像一些通用的组件从源码中剥离，做成了一个单独的库libfastcommon。该库包含以下内容：字符串处理、内存储 、文件写缓存、base64、ini配置文件解析器、...

			
		

	





	

		

			

				
					
gluster分析（转）

				
			

			

				

					cooldatabase
				

				

					03-16
					
					248
					
				

			

		

		

			
				
引言
GlusterFS
是一个高层次的分布式文件系统解决方案。通过增加一个逻辑层，对上层使用者掩盖了下面的实现，使用者不用了解也不需知道，文件的存储形式、分布。内部实现
是整合了许多存储块（server）通过Infiniband RDMA 或者Tcp/Ip
方式互联的一个并行的网络文件系统，这样的许多存储块可以通过许多廉价的x86 主机，通过网络搭建起来。
其相对于传统NAS 、SAN...

			
		

	





	

		

			

				
					
使用valgrind测试gluster fuse内存泄漏问题

				
			

			

				

					u013131156的专栏
				

				

					09-18
					
					2132
					
				

			

		

		

			
				
一、valgrind

（一）介绍

        Valgrind是一个开源的工具，用于构建动态分析工具的探测框架，包括memcheck，addrcheck，cachegrind，Massif，helgrind和Callgrind等工具，每个工具执行某种类型的调试、分析或类似的任务，以帮助程序员完善自己的程序。

（二）常用参数

valgrind命令格式：


valgrind [valgr...

			
		

	





	

		

			

				
					
glusterfs存储池空间用完问题

				
			

			

				

					u011186959的博客
				

				

					08-18
					
					2568
					
				

			

		

		

			
				
在glusterfs存储池里创建文件时，在选择向哪个子卷上创建之前（在函数dht_mknod、dht_create或dht_mkdir里）会调用dht_get_du_info（使用statvfs）获取各个子卷的剩余空间和可用inode数量。
     在dht_create和dht_mknod中，调用dht_subvol_get_hashed函数根据要创建的文件的名字找到此文件hash值所处的s

			
		

	





	

		

			

				
					

				
			

			

				

					
				

			

		

		

			
				

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 1

	

  
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
蔷薇理想人生

			
你的鼓励将是我创作的最大动力

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值