glibc中内存管理

一下是自己对glibc的一些个人理解。

非主分配区:

mmap一片大的内存,如果 top-chunk 包含了整个 sub-heap,ptmalloc 会调用 munmap 把整个 sub-heap 的内存返回给操作系统。
主分配区:
当该 次回收的空闲内存大小达到某个阈值,并且 top chunk 的大小也超过了收缩阈值,会执行内 存收缩,减小
 top chunk 的大小,但至少要保留一个页大小的空闲内存,从而把内存归还给 操作系统。
当需要分配的 chunk 足够大,而且 fast bins 和 bins 都不能满足要求,甚至 top chunk 本
身也不能满足分配需求时, ptmalloc 会使用 mmap 来直接使用内存映射来将页映射到进程空
间。这样分配的 chunk 在被 free 时将直接解除映射,于是就将内存归还给了操作系统,


Last remainder:
这是一种特殊的chunk,这种chunk是会进行分裂的。


当用户的请求超过 mmap 分配阈值,并且主分配区使用 sbrk()分配失败的时候,或是非 主分配区在 top chunk 中不能分配到需要的内存时, ptmalloc 会尝试使用 mmap()直接映射一 块内存到进程内存空间。使用 mmap()直接映射的 chunk 在释放时直接解除映射,而不再属 于进程的内存空间。(也就是说现在映射的内存的空间就是一个chunk,就是分配给用户程序的空间,不会再继续进行切割,不同于sud_heap等,不过Last remainder是个特例,这种chunk是可以分裂的)

之前一直以为,程序既然是在虚拟地址空间,所以程序能够分配到多少的内存是由编译器是32bit的还是64bit决定的,But,经过自己的实践证明,能够分配到多少的内存还受到程序所在的系统的实际内存的限制。

我分别在64bit的编译器下的

62G+(虚拟)7.8G机器 , 大约可以申请62G,申请63G会失败

110G+(虚拟)22G机器,可以申请127G内存,申请128G会失败

512G+(虚拟)1G可以申请1.3G,申请1.4G会失败。 


除此以外发现一个奇怪的现象,当系统中存在磁盘的cache占用了内存的时候,这部分的内存是可以被malloc所利用的,这部分内存也就从cache状态转成了used状态。貌似是一个释放chche的方法,

 25 const size_t SIZE = (long)1024*1024*1024*1.3;                                                                                                                          
 26 int main(){                                                                     
 27     char *buf = (char*) malloc(SIZE);                                           
 28     if(buf == NULL){                                                            
 29                                                                                 
 30     |   cout<<"FAILED"<<endl;                                                   
 31     |   return 1;                                                               
 32     }                                                                           
 33     double sum = 0 ;                                                            
 34     for(size_t i = 0 ; i < SIZE ; i++){                                         
 35     |   buf[i] = i;                                                             
 36     }                                                                           
 37     cout<<sum<<endl;                                                            
 38                                                                                 
 39                                                                                 
 40 }  

测试代码大约长成上面这个样子
### Anaconda 安装教程 #### 一、安装 Anaconda 并配置环境变量 为了确保 Anaconda 正常工作,在安装过程中需要注意勾选添加路径选项,这一步骤对于后续命令行工具的正常使用至关重要[^3]。 ```bash # 如果在安装时未选择添加路径,则可以通过手动设置环境变量来解决 export PATH="/path/to/anaconda/bin:$PATH" ``` #### 二、验证安装是否成功 完成安装后,可通过启动 Anaconda Navigator 或者在命令提示符中运行 `conda --version` 来确认安装情况。如果显示 Conda 的版本号则表示安装无误。 ```bash conda --version ``` ### 使用清华大学镜像加速软件包下载 #### 三、配置 Conda 使用清华大学镜像源 由于官方仓库可能速度较慢,建议修改默认的 Conda 源为清华大学开源软件镜像站提供的国内镜像地址,从而提高依赖项获取效率[^1]。 ```bash # 添加清华镜像作为优先级最高的渠道 conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/ # 显示完整的 URL 地址以便于调试 conda config --set show_channel_urls yes ``` #### 四、创建并激活 TensorFlow 所需虚拟环境 考虑到不同 Python 版本之间的兼容性差异,推荐专门为 TensorFlow 创建独立的工作空间,并指定合适的 Python 解释器版本[^2]。 ```bash # 基于特定Python版本建立新的Conda环境 conda create -n tensorflow python=3.6 anaconda # 切换至刚创建好的环境中去 conda activate tensorflow ``` #### 五、利用 Pip 和 Conda 结合方式高效部署 TensorFlow 及其他库 除了通过 Conda 管理基础设施外,还可以借助 PyPI 上丰富的第三方扩展资源进一步完善开发平台建设;同样地,这里也提倡采用本地化存储节点以加快网络传输速率[^4]。 ```bash # 运用Pip配合清华简易索引服务器快速加载目标模块 pip install tensorflow-gpu==2.x.y -i https://pypi.tuna.tsinghua.edu.cn/simple ```
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值