GlusterFS之内存池（mem-pool）使用实例分析

最新推荐文章于 2024-04-29 11:05:03 发布
最新推荐文章于 2024-04-29 11:05:03 发布
阅读量3k 收藏 1
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 开源软件研究 分布式文件系统 分布式文件系统 文章标签： linux内核 pair null struct 新浪微博 list
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qiangweiloveforever/article/details/7515536
本文通过实例分析GlusterFS如何使用内存池技术。在初始化过程中，cli进程建立并初始化内存池。内存分配通过mem_pool_new宏实现，对象用完后归还内存池。最后介绍如何销毁内存池。内存池基于linux内核的slab算法，提高内存使用效率。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

我的新浪微博：http://weibo.com/freshairbrucewoo。

欢迎大家相互交流，共同提高技术。


上一篇博客详细分析了GlusterFS之内存池的实现技术，今天我们看看GlusterFS是怎么使用这个技术的。

第一步：分配和初始化：

cli进程在初始化的过程中会涉及到内存池的建立和初始化，具体涉及到内存池初始化的代码如下（在cli.c文件中的glusterfs_ctx_defaults_init函数）：


                

        

    

    
  


        

            

                

                

                了解本专栏
                
                
                  
                订阅专栏 解锁全文
                 
            

        


    



                



	

		

			

				
					
GlusterFS之内存池（mem-pool）实现原理及代码详解

				
			

			

				

					BruceWoo的专栏
				

				

					04-25
					
					3911
					
				

			

		

		

			
				
我的新浪微博：http://weibo.com/freshairbrucewoo。

欢迎大家相互交流，共同提高技术。
最近一直在研究glusterfs的源代码，自己也在上面做了一些小的改动。我最开始研究的是3.2.5这个版本，因为据同行和网上资料显示这个版本目前是最稳定的版本。glusterfs实现比较复杂，具体的设计思想和架构就不详细介绍了，网上有这方面的资料（优快云博客里面就有很好介

			
		

	



                

            
              



	

		

			

				
					
Glusterfs之rpc模块源码分析(中）之Glusterfs的rpc模块实现（3）

				
			

			

				

					BruceWoo的专栏
				

				

					05-14
					
					3243
					
				

			

		

		

			
				
我的新浪微博：http://weibo.com/freshairbrucewoo。
欢迎大家相互交流，共同提高技术。


第三节、rpc通信过程分析
前面两个小节分别对rpc服务端和客户端的建立流程做了详细的分析，也就是说rpc客户端和服务器端已经能够进行正常的通信了（rpc客户端已经通过connect链接上rpc服务器了），那么这一小节主要根据一个实际的例子来分析一个完整的rpc通信过

			
		

	



              


  
              

                


	

		

			

				
					
GlusterFS源码解析 —— GlusterFS 内存分配方式

				
			

			

				

					wangyuling1234567890的专栏
				

				

					04-27
					
					3602
					
				

			

		

		

			
				
GlusterFS 的内存分配主要有两种方式，一种是内存池分配，一种是普通内存分配。
不了解内存池使用的请查阅相关资料，这里不再解释。
内存池分配使用一个mem_pool对象来管理，看过内核代码的话对内存池的结构就不会陌生了。内核代码中好多管理就是利用内核list链表来进行。内存池结构如下：
struct mem_pool {
        struct list_head  list;

			
		

	





	

		

			

				
					
Glusterfs企业分布式存储技术

				
			

			

				

					因上努力，果上随缘。但行好事，莫问前程。
				

				

					07-01
					
					710
					
				

			

		

		

			
				
3.2 安装epel源




3.3 安装glusterfs源




3.4 安装配置glusterfs




3.5 配置前的准备工作(每个机器都执行)




3.6 创建Volume与其他操作







二、如何在企业中构建企业级分布式存储

1.存在的规划问题



2.搭建企业级的



3.Glusterfs文件系统的优化



4.监控及其日常维护......

			
		

	



		

			
		



	

		

			

				
					
fdfs安装启动及性能优化

					
最新发布

				
			

			

				

					zzz的博客
				

				

					04-29
					
					995
					
				

			

		

		

			
				
FastDFS为一个连接分配一个task buffer，为了提升分配效率，FastDFS采用内存池的做法。FastDFS老版本直接事先分配 max_connections 个buffer，这个做法显然不是太合理，在max_connections 设置过大的情况下太浪费内存。为了充分发挥出多个CPU的效能，系统中的线程数总和，建议不要超过CPU总数的2倍。如果磁盘做了RAID，比如RAID5或RAID10，那么需要酌情加大读写线程数，这样才能最大程度地发挥磁盘IO能力。配置文件：storage.conf。

			
		

	





	

		

			

				
					
glusterfs性能优化

				
			

			

				

					仇晗的专栏
				

				

					09-29
					
					1万+
					
				

			

		

		

			
				
glusterfs 3.x.x版本后，客户端不再有配置文件

			
		

	





	

		

			

				
					
GlusterFS 之内存池（mem-pool）使用实例分析

				
			

			

				

					06-18
				

			

		

		

			
				
### GlusterFS之内存池（mem-pool）使用实例分析  #### 一、概述  上一篇文章深入探讨了GlusterFS内部内存池(mem-pool)的实现机制与原理，本文将在此基础上进一步分析GlusterFS如何具体应用这项技术，并通过具体的...

			
		

	





	

		

			

				
					
CANDTU-200UR虚拟化技术指南：掌握优势与应对挑战

				
			

			

				

					
				

			

		

		

			
				
首先，本文概述了虚拟化技术的理论基础，详细阐述了资源抽象、隔离原理以及虚拟机监控器（Hypervisor）的作用，并分析了CANDTU-200UR的架构特点，包括硬件加速支持和虚拟化安全机制。其次，文档详细说明了CANDTU-200...

			
		

	





	

		

			

				
					
zabbix监控

				
			

			

				

					Pang的博客
				

				

					12-16
					
					3711
					
				

			

		

		

			
				
监控服务概述

1、实时查看服务状态
2、可以发送报警信息（邮件报警、短信报警、电话报警、微信报警、值班（大屏幕）报警）
3、可以进行数据分析（潜在风险、对业务部门给出数据建议）

实现监控的方式：

1）zabbix实现监控
2）nagios（监控报警功能较强大）+cacti（网络流量报警）
3）小米监控


如何搭建监控平台
###通过多个维度进行描述

1、网络模型OSI七层模型分析
2、网...

			
		

	





	

		

			

				
					
Fastdfs源码分析1----内存池解析

				
			

			

				

					唐顺才的博客
				

				

					02-22
					
					1228
					
				

			

		

		

			
				
fastdfs依赖库

libevent
libfastcommon


libevnet都知道是一个高性能的轻量级网络库，设计模式为reactor反应堆模式。


Fastdfs原本只有一个工程源码。在某个版本开始走模块化道路，作者把像一些通用的组件从源码中剥离，做成了一个单独的库libfastcommon。该库包含以下内容：字符串处理、内存储 、文件写缓存、base64、ini配置文件解析器、...

			
		

	





	

		

			

				
					
删除gluster volume数据报错：no space left

				
			

			

				

					eyeofeagle的博客
				

				

					07-27
					
					699
					
				

			

		

		

			
				
删除glustervolume数据报错nospaceleft。

			
		

	





	

		

			

				
					
glusterfs分析-系列二：glusterfs的初始化过程分析

				
			

			

				

					york_1986的专栏
				

				

					08-27
					
					2554
					
				

			

		

		

			
				
其实整个glusterfs的初始化过程就是这4个进程（gluster、glusterd、glusterfs和glusterfsd）的初始化过程，下面就详细说明下这4个进程的初始化过程。

整个glusterfs的代码目录结构截图如下：
图3：


一、gluster进程的初始化过程：
gluster作为一个cli命令执行工具，初始化代码位于glusterfs/cli/Src/cli.

			
		

	





	

		

			

				
					
换个角度深入理解GlusterFS

					
热门推荐

				
			

			

				

					刘爱贵的专栏
				

				

					03-10
					
					2万+
					
				

			

		

		

			
				
GlusterFS不是一个完美的分布式文件系统，这个系统自身也有许多不足之处，包括众所周知的元数据性能和小文件问题。没有普遍适用各种应用场景的分布式文件系统，通用的意思就是通通不能用，四大开源系统不例外，所有商业产品也不例外。每个分布式文件系统都有它适用的应用场景，适合的才是最好的。这一次我们反其道而行之，不再谈GlusterFS的各种优点，而是深入谈谈GlusterFS当下的问题和不足，从而更加深入地理解GlusterFS系统，期望帮助大家进行正确的系统选型决策和规避应用中的问题。同时，这些问题也是Glu

			
		

	





	

		

			

				
					
GlusterFS数据均衡

				
			

			

				

					天台一只小蜗牛
				

				

					08-06
					
					1122
					
				

			

		

		

			
				
数据均衡：
在这里主要是针对缓存服务器，通过对缓存服务器进行访问从而对后台服务器减压或者保护。
glusterFS是分布式文件存储的一种常用方法，如果数据增多，要对系统进行扩容，但是扩容会导致集群内分布不均衡，导致旧节点负载过高，新节点有很多可用空间。
方法：
主要采用一致性哈希算法，这篇文章讲得很好。
先说最基础的哈希算法：在这里很简单，就是
hash(文件名)%（服务器个数）
举个例子，文件名...

			
		

	





	

		

			

				
					
glusterfs 存储节点损坏恢复总结

				
			

			

				

					感悟聚集的博客
				

				

					06-05
					
					4584
					
				

			

		

		

			
				
概述
glusterfs 集群的存储节点损坏是不可避免的，但是对于glusterfs 来说，节点损坏包含系统损坏（因为重做系统需要格式化根目录）即glusterfs 配glusterfs 配置文件丢失，数据盘损坏即对于glusterfs数据盘上的brick数据丢失。本文即描述下glusterfs 存储节点损坏最优的修复方案。
恢复方案
在概述中我们知道存储节点损坏对于glusterfs 来说其实就分为3种损坏。
配置文件丢失
在存储节点系统损坏或者/磁盘坏掉等都对于glusterfs 意味着配置文件丢失。


			
		

	





	

		

			

				
					
内存池设计与实现

				
			

			

				

					Travelerwz的博客
				

				

					05-12
					
					607
					
				

			

		

		

			
				
内存池设计与实现

一、前言
作为C++程序员，想必对于内存操作这一块是比较熟悉和操作比较频繁的；
比如申请一个对象，使用new，申请一块内存使用malloc等等；
但是，往往会有一些困扰烦恼着大家，主要体现在两部分：

申请内存后忘记释放，造成内存泄漏内存不能循环使用，造成大量内存碎片
这两个原因会影响我们程序长期平稳的运行，也有可能会导致程序的崩溃；

二、内存池

内存池是池化技术中的一种形式。通常我们在编写程序的时候回使用 new delete 这些关键字来向操作系统申请内存，而这样造成的后果就是每

			
		

	





	

		

			

				
					
GlusterFS安装及集群规划

				
			

			

				

					jiangxianzeng的专栏
				

				

					12-15
					
					1090
					
				

			

		

		

			
				
目录：



一
 GlusterFS 安装前环境准备

1.1
 数据盘操作
二
 GlusterFS源码安装

2.1
 挂载fuse模块2.2
 安装所需要的依赖包2.3
 glusterfs编译安装
三  集群划分与配置四
 创建集群

4.1  创建集群4.2
 查看集群状态4.3
 修改配置信息
五
 创建逻辑卷

5.1
 创建卷的

			
		

	





	

		

			

				
					
Glusterfs的常用命令

				
			

			

				

					C18701162190的博客
				

				

					04-19
					
					669
					
				

			

		

		

			
				
1 服务器节点
#gluster peer status                          //查看所有节点信息，显示时不包括本节点
#gluster peer probe   NODE-NAME //添加节点
#gluster peer detach  NODE-NAME //移除节点，需要提前将该节点上的brick移除
2 glusterd服务
/etc/init.d/glus...

			
		

	





	

		

			

				
					
GlusterFS维护总结

				
			

			

				

					dream-wing的专栏
				

				

					10-07
					
					6396
					
				

			

		

		

			
				
【场景1】某个GlusterFS节点的操作系统Down，需要重装系统和GlusterFS的场景。
解决办法如下：
（1）先别启动GlusterFS服务
重新安装GlusterFS后，设置好对应的Brick目录和挂载完对应的存储，暂时别启动GlusterFS服务。
（2）获取该节点UUID信息
通过观察集群的其他节点保存的节点UUID信息，得到损坏节点的UUID信息。
ls命令查看一个完

			
		

	





	

		

			

				
					
GlusterFS内存池实战：高效初始化与对象管理

				
			

			

				

					
				

			

		

		

			
				
本文将深入探讨GlusterFS内存池（mem-pool）的使用实例，以理解这一关键技术在分布式文件系统中的实际应用。GlusterFS通过预先分配并管理内存池来优化性能，减少不必要的系统开销。  在GlusterFS的初始化过程中，cli...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 1

	

  
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
蔷薇理想人生

			
你的鼓励将是我创作的最大动力

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值