18张图解密新时代内存分配器TCMalloc

深入WiredTiger引擎:从`tcmalloc`到`cache_overhead`,图解MongoDB内存管理的那些“隐藏”开销 本文深入解析MongoDB WiredTiger引擎的内存管理机制,揭示从`tcmalloc`内存分配到`cache_overhead`等隐藏开销。通过可视化图表和实战参数调优建议,帮助开发者有效控制内存使用,避免内存不足导致的崩溃,提升数据库性能。 阅读详情

系列导读

本系列基于64位平台、1Page=8KB

本文为《Go语言轻松系列》第二章「内存与垃圾回收」第二篇。

关于「内存与垃圾回收」章节,大体从如下三大部分展开:

  • 知识预备(为后续的内容做一些知识储备),知识预备包括

  • Go内存设计与实现

  • Go的垃圾回收原理

本文导读

我们的主要目的是掌握Go语言的内存分配原理。但是呢,Go语言的内存分配主要是基于TCMalloc内存分配器实现的。所以,我们想搞懂Go语言的内存分配原理前,必须先了解TCMalloc内存分配器,以便于我们更好的理解Go语言的内存分配原理。

本文目录如下:

  • 读前知识储备

    • 内存的线性分配

    • 什么是FreeList?

    • 虚拟内存

    • 什么是TCMalloc?

  • TCMalloc中的五个基本概念

    • Page的概念

    • Span的概念

      • SpanList的概念

    • Object的概念

      • SizeClass的概念

  • 解密Tcmalloc的基本结构

  • PageHeap、CentralFreeList、ThreadCache的详细构成

    • 解密PageHeap

    • 解密CentralFreeList和TransferCacheManager的构成

      • 解密CentralFreeList

      • 解密TransferCacheManager

    • 解密ThreadCache

  • 解密TCMalloc内存分配过程

    • 简易版

    • 详细版

读前知识储备

本小节的内容如下:

  • 内存的线性分配

  • 什么是FreeList?

  • 虚拟内存

  • 什么是TCMalloc?

目的:辅助我们更好的理解内存分配原理。

内存的线性分配

线性分配大致就是需要使用多少分配多少,“用到哪了标识到哪”,如下图所示:

(图1)

线性分配有个问题:“已经分配的内存被释放了,我们如何再次分配?”。大家会想到用链表LinkedList,是的没错,但是内存管理中一般使用的是FreeList。

什么是FreeList?

FreeList本质上还是个LinkedList,和LinkedList的区别:

  • FreeList没有Next属性,所以不是用Next属性存放下一个节点的指针的值。

  • FreeList“相当于使用了Value的前8字节”(其实就是整块内存的前8字节)存放下一个节点的指针。

  • 分配出去的节点,节点整块内存空间可以被复写(指针的值可以被覆盖掉)

如下图所示:

(图2)

结论:FreeList里一个节点最小为8字节

备注:因为要存指针,指针的大小为8字节,为什么?可以参考上篇文章《64位平台下,指针自身的大小为什么是8字节?》

虚拟内存

这里直说结论哈,我们的进程是运行在虚拟内存上的,图示如下:

(图3)

  • 对于我们的进程而言,可使用的内存是连续的

  • 安全,防止了进程直接对物理内存的操作(如果进程可以直接操作物理内存,那么存在某个进程篡改其他进程数据的可能)

  • 虚拟内存和物理内存是通过MMU(Memory Manage Unit)映射的(感兴趣的可以研究下)

  • 等等(感兴趣的可以研究下)

所以,以下文章我们所说的内存都是指虚拟内存。

什么是TCMalloc?

TCMalloc全称Thread Cache Alloc,是Google开源的一个内存分配器,基于数据结构FreeList实现,并引入了线程级别的缓存,性能更加优异。

TCMalloc中的五个基本概念

本小节的内容如下:

  • Page的概念

  • Span的概念

    • SpanList的概念

  • Object的概念

    • SizeClass的概念

目的:TCMalloc各个主要部分是基于这些基本概念组成的.

Page的概念

操作系统是按Page管理内存的,本文中1Page为8KB,如下图所示:

备注:操作系统为什么按`Page`管理内存?不在本文范围。

(图4)

Span和SpanList的概念

一个Span是由N个Page构成的,且:

  • N的范围为1 ~ +∞

  • 构成这个Span的N个Page在内存空间上必须是连续的

如下图所示:

(图5)

从图中可以看出,有:

  • 1个Page构成的8KB的Span

  • 2个连续Page构成的16KB的Span

  • 3个连续Page构成的24KB的Span

除此之外,Span和Span之间可以构成双向链表我们称之为SpanList,内存管理中通常将持有相同数量Page的Span构成一个双向链表,如下图所示(N个持有1Page的Span构成的SpanList):

(图6)

我们再来看Span的下代码,如下:

class Span : public SpanList::Elem {
 public:

  // 略...

  // 把span拆解成object的方法
  // object的概念看下文
  void BuildFreelist(size_t size, size_t count);

  
  // 略...

  union {
    // object构成的freelist
    // object的概念看下文
    ObjIdx cache_[kCacheSize];
    
    // 略...
  };

  PageId first_page_;  // 当前span是从哪个page开始的
  Length num_pages_;   // 当前page持有的page数量

  // 略...
};

Object和SizeClass的概念

一个Span会被按照某个大小拆分为N个Objects,同时这N个Objects构成一个FreeList(如果忘了FreeList的概念可以再返回上文重新看看)。

我们以持有1Page的Span为例,Span、Page、Object关系图示如下:

(图7)

看完上面的图示,问题来了:

上图怎么知道拆分Span为一个个24字节大小的Object,这个规则是怎么知道的呢?

答案:依赖代码维护的映射列表。

我们以Google开源的TCMalloc源码(commit:9d274df)为例来看一下这个映射列表 https://github.com/google/tcmalloc/tree/master/tcmalloc

代码位置:tcmalloc/tcmalloc/size_classes.cc
代码示例(摘取一部分):

const SizeClassInfo SizeMap::kSizeClasses[SizeMap::kSizeClassesCount] = {
    // 这里的每一行 称之为SizeClass
    // <bytes>, <pages>, <batch size>    <fixed>
    // Object大小列,一次申请的page数,一次移动的objects数(内存申请或回收)
    {        0,       0,           0},  // +Inf%
    // 所以也知道为啥最小8字节了吧?
    // Object会构成FreeList
    // FreeList的节点要存指针
    // 指针为8字节
    {        8,       1,          32},  // 0.59%
    {       16,       1,          32},  // 0.59%
    {       24,       1,          32},  // 0.68%
    {       32,       1,          32},  // 0.59%
    {       40,       1,          32},  // 0.98%
    {       48,       1,          32},  // 0.98%
    // ...略...
    {    98304,      12,           2},  // 0.05%
    {   114688,      14,           2},  // 0.04%
    {   131072,      16,           2},  // 0.04%
    {   147456,      18,           2},  // 0.03%
    {   163840,      20,           2},  // 0.03%
    {   180224,      22,           2},  // 0.03%
    {   204800,      25,           2},  // 0.02%
    {   229376,      28,           2},  // 0.02%
    {   262144,      32,           2},  // 0.02%
};

获取拆分规则的过程(先找到行、再找到这行第一列的值):
1. 先找到对应行(如何找到这个行?是不是有人有疑惑了,
想知道这个答案就需要了解`CentralFreeList`这个结构了,
下文我们会讲到。)
2. 找到第一列,这个数字就是object的大小

同时通过上面我们知道了:SizeMap::kSizeClasses的每一行元素我们称之为SizeClass(下文中我们直接就称之为SizeClass).

这个5个基本概念具体干什么用的呢?

答案:支撑了`Tcmalloc`的基本结构的实现。

解密Tcmalloc的基本结构

Tcmalloc主要由三部分构成:

  • PageHeap

  • CentralFreeList

  • ThreadCache

图示如下:

(图8)

但是呢,实际上CentralFreeList是被TransferCacheManager管理的,所以Tcmalloc的基本结构实际应该为下图所示:

(图9)

接着,ThreadCache其实被线程持有,为什么呢?

答案:减少线程之间的竞争,分配内存时减少锁的过程。
这也是为什么叫`Thread Cache Alloc`的原因。

进一步得到简易的结构图:

(图10)

解密PageHeap、CentralFreeList、ThreadCache的详细构成

本小节的内容如下:

  • 解密PageHeap

  • 解密CentralFreeList和TransferCacheManager的构成

    • 解密CentralFreeList

    • 解密TransferCacheManager

  • 解密ThreadCache

目的:详细了解TCMalloc各个组成部分的实现。

解密PageHeap

PageHeap主要负责管理不同规格的Span,相同规格的Span构成SpanList(可回顾上文SpanList的概念)。

什么是相同规格的Span?

答:持有相同`Page`数目的`Span`。

PageHeap对象里维护了一个属性free_类型是个数组,粗略看数组元素的类型是SpanList,同时free_这个数据的元素具有以下特性:

  • 索引值为1对应的SpanList,该SpanList的Span都持有1Pages;

  • 索引值为2对应的SpanList,该SpanList的Span都持有2Pages;

  • 以此类推,free_索引值为MaxNumber对应的SpanList,该SpanList的Span都持有MaxNumber Pages;

  • MaxNumber的值由kMaxPages决定

数组索引SpanList里单个Span持有Page数
11Pages
22Pages
33Pages
44Pages
55Pages
......
kMaxPageskMaxPages Pages

图示如下:

(图11)

但是呢,实际上从代码可知:数组元素的实际类型为SpanListPair,代码如下

class PageHeap final : public PageAllocatorInterface {
 public:

  // ...略

 private:
  // 持有两个Span构成的双向链表
  struct SpanListPair {
    // Span构成的双向链表 正常的
    SpanList normal; 
    // Span构成的双向链表 大概是 物理内存已经回收 但是虚拟内存还被持有(感兴趣可以研究)
    SpanList returned;
  };

  // ...略

  // kMaxPages.raw_num()这么多个,由上面SpanListPair类型构成的数组
  SpanListPair free_[kMaxPages.raw_num()] ABSL_GUARDED_BY(pageheap_lock);

  // ...略
};

结论:

  • free_数组元素的类型是SpanListPair

  • SpanListPair里维护了两个SpanList

根据这个结论我们修正下PageHeap结构图,如下:

(图12)

又因为大于kMaxPages个Pages(大对象)的内存分配是从large_中分配的,代码如下:

class PageHeap final : public PageAllocatorInterface {
 public:

  // ...略

  //  大对象的内存从这里分配(length >= kMaxPages)
  SpanListPair large_ ABSL_GUARDED_BY(pageheap_lock);

  // ...略
};

所以我们再加上大对象的分配时的large_属性,得到PageHeap的结构图如下:

(图13)

同时PageHeap核心的代码片段如下:

class PageHeap final : public PageAllocatorInterface {
 public:

  // ...略

 private:
  // 持有两个Span构成的双向链表
  struct SpanListPair {
    // Span构成的双向链表
    SpanList normal; 
    // Span构成的双向链表
    SpanList returned;
  };

  //  大对象的内存从这里分配(length >= kMaxPages)
  SpanListPair large_ ABSL_GUARDED_BY(pageheap_lock);

  // kMaxPages.raw_num()这么多个,由上面SpanListPair类型构成的数组
  SpanListPair free_[kMaxPages.raw_num()] ABSL_GUARDED_BY(pageheap_lock);

  // ...略
};

解密CentralFreeList和TransferCacheManager的构成

解密CentralFreeList

我们可以称之为中央缓存,中央缓存被线程共享,从中央缓存CentralFreeList获取缓存需要加锁。

CentralFreeList里面有个属性size_class_,就是SizeClass的值,来自于映射表SizeMap这个数组的索引值。CentralFreeList里的Span会做一件事情,按照这个size_class_值对应的规则拆解Span为多个Object,同时这些Object构成FreeList。

同时,SizeMap里的每个SizeClass都会对应一个CentralFreeList,所以最多一共会有N个CentralFreeList,N的值为kNumClasses。关键代码如下:

class CentralFreeList {

  // ...略

 private:

  // 锁
  // 线程从此处获取内存 需要加锁 保证并发安全
  absl::base_internal::SpinLock lock_;

  // 对应上文提到的映射表SizeClassInfo中的某个索引值
  // 目的找到Span拆解为object时,object的大小等规则
  size_t size_class_;  
  // object的总数量
  size_t object_size_;
  // 一个Span持有的object的数量
  size_t objects_per_span_;
  // 一个Span持有的page的数量
  Length pages_per_span_;

  // ...略

如下图就展示了kNumClasses个CentralFreeList,其中我们以size_class_的值为1和3为例来展示下CentralFreeList的结构。


(图14)

解密TransferCacheManager

因为有kNumClasses个CentralFreeList,这些CentralFreeList在哪维护的呢?

答案:就是`TransferCacheManager`这个结构里的`freelist_`属性。

代码如下:

class TransferCacheManager {
  
  // ...略

 private:
  // freelist_是个数组
  // 元素的类型是上面的CentralFreeList
  // 元素的数量与 映射表 SizeClassInfo对应
  CentralFreeList freelist_[kNumClasses];
} ABSL_CACHELINE_ALIGNED;

(图15)

解密ThreadCache的构成

我们可以称之为线程缓存,TCMalloc内存分配器的核心所在。ThreadCache被每个线程持有,分配内存时不用加锁,性能好。

ThreadCache对象里维护了一个属性list_类型是个数组,数组元素的类型是FreeList,代码如下:

class ThreadCache {
  // ...略

  // list_是个数组
  // 元素的类型是FreeList
  // 元素的数量与 映射表 SizeClassInfo对应
  FreeList list_[kNumClasses]; 

  // ...略
};

同时FreeList里的元素还具有以下特性:

  • 索引值为1对应的FreeList,该FreeList的Object大小为8 Bytes;

  • 索引值为2对应的FreeList,该FreeList的Object大小为16 Bytes;

  • 以此类推,free_索引值为MaxNumber对应的FreeList,该FreeList的Object大小为MaxNumber Bytes;

  • MaxNumber的值由kNumClasses决定

这个规则怎么来的?还是取决于映射列表,同样以Google开源的TCMalloc源码(commit:9d274df)为例,来看一下这个映射列表:

https://github.com/google/tcmalloc/tree/master/tcmalloc

代码位置:tcmalloc/tcmalloc/size_classes.cc
代码示例(摘取一部分):

const SizeClassInfo SizeMap::kSizeClasses[SizeMap::kSizeClassesCount] = {
    // 这里的每一行 称之为SizeClass
    // <bytes>, <pages>, <batch size>    <fixed>
    // Object大小列,一次申请的page数,一次移动的objects数(内存申请或回收)
    {        0,       0,           0},  // +Inf%
    {        8,       1,          32},  // 0.59%
    {       16,       1,          32},  // 0.59%
    {       24,       1,          32},  // 0.68%
    {       32,       1,          32},  // 0.59%
    {       40,       1,          32},  // 0.98%
    {       48,       1,          32},  // 0.98%
    // ...略...
};

我们可以得到:

数组索引FreeList里单个Object的大小
18 Bytes
216 Bytes
324 Bytes
432 Bytes
540 Bytes
......
kNumClasseskNumClasses Bytes

得到ThreadCache结构图如下所示:

注意:图示中索引为3的FreeList的Span尾部会浪费掉8字节。

(图16)

解密Tcmalloc内存分配过程

本小节的内容如下:

  • 简易版

  • 详细版

目的:了解Tcmalloc内存分配的大致过程。

简易版

我们把Tcmalloc中分配的对象分为两类:

  • 小对象

  • 非小对象

小对象的大小范围就来自于SizeMap维护的映射表,也就是单个Object的大小范围,我们还是以如下代码片段为例,可知单个Object大小范围为:

8 Byte ~ 262144 Byte == 8 Byte ~ 256 KB

const SizeClassInfo SizeMap::kSizeClasses[SizeMap::kSizeClassesCount] = {
    // 这里的每一行 称之为SizeClass
    // <bytes>, <pages>, <batch size>    <fixed>
    // Object大小列,一次申请的page数,一次移动的objects数(内存申请或回收)
    // ...略...
    {        8,       1,          32},  // 0.59%
    // ...略...
    {   262144,      32,           2},  // 0.02%
};

所以:

类型大小来源
小对象<= 256 KBThreadCache、CentralFreeList
非小对象> 256 KBPageHeap.free_和PageHeap.large_

当给小对象分配内存时:ThreadCache的内存不足时,从对应SizeClass的CentralFreeList获取,如果获取不到,CentralFreeList再从PageHeap里获取内存。

当给非小对象分配内存时:PageHeap.free_和PageHeap.large_里获取。

(图17)

详细版本

最后,我们以获取6字节的小对象为例(SizeClass的值为1),看一下详细内存分配过程。

(图18)

结语

简单总结下,本篇文章我们可以获取到的知识点:

  • 了解了FreeList

  • 知道了TCMalloc主要由ThreadCache、CentralFreeList、PageHeap三部分组成

    • Object构成的FreeList,被ThreadCache维护

    • Span构成了SpanList,被CentralFreeList维护,同时Span会被拆解成Object

    • 当ThreadCache里的Object没有时,从对应SizeClass的CentralFreeList里获取

    • 小对象来自ThreadCache、CentralFreeList

    • 非小对象来自PageHeap

  • 线程从ThreadCache获取内存不需要加锁

通过学习以上内容,再回过头学习Go语言的内存分配,应该会变得轻松明了。下次我们就来看看Go内存设计与实现。

参考:
1. tcmalloc源码(commit:9d274df) https://github.com/google/tcmalloc/tree/master/tcmalloc
2. 可利用空间表(Free List)https://songlee24.github.io/2015/04/08/free-list/
3. 图解 TCMalloc https://zhuanlan.zhihu.com/p/29216091
4. TCMalloc解密 https://wallenwang.com/2018/11/tcmalloc/
5. TCMalloc : Thread-Caching Malloc https://github.com/google/tcmalloc/blob/master/docs/design.md
6. TCMalloc : Thread-Caching Malloc https://gperftools.github.io/gperftools/tcmalloc.html
7. tcmalloc原理剖析(基于gperftools-2.1) http://gao-xiao-long.github.io/2017/11/25/tcmalloc/
关于我的常用画图软件:

1. Balsamiq Mockups 3
2. Processon

Go轻松进阶系列 更多文章

【信息科学与工程学】【安全领域】第三十五篇 网络安全算法表02 ​分级处理​:实时增量 + 离线全量 + 自动校验三线并行​最终一致优先​:强同步仅用于支付等核心场景​双向容错​:Redis侧:读CK兜底(CK侧:自动屏蔽校验失败分区​业务适配​:graph LR高实时场景 --> Redis写+双重读分析场景 --> 放宽CK同步延迟报表场景 --> T+1校准保障该方案已在京东、美团等千亿级数据平台验证,支撑双11级流量下Redis与ClickHouse的数据协同。 阅读详情

相关推荐

【信息科学与工程学】【运营科学】第二篇 C4信息与通信网络运营 (C4) ——数据中心网络运营04

典型值:λ1​∈[−0.02,−0.01], λ2​∈[−0.01,0], η1​,η3​∈[0.1,0.3], η2​,η4​∈[0.05,0.15]参数:δ1​∈[−0.8,−0.3], δ2​∈[−0.5,−0.2], δ3​∈[−0.4,−0.1], δ4​∈[−0.6,−0.2]参数:φ1​∈[0.1,0.3], φ2​∈[−0.2,−0.05], φ3​∈[−0.1,0.1], φ4​∈[−0.3,−0.1]参数:α∈[0.3,0.6], β∈[0.2,0.4], γ∈[0.01,0.03]

weixin_49199313的博客 1220

新时代内存分配器:TCMalloc

TCMalloc 全称 Thread-Caching Malloc,即线程缓存的 `malloc`,实现了高效的多线程内存管理,用于替代系统的内存分配相关的函数(`malloc`、`free`,`new`,`new[]` 等)。

凌桓丶的博客 2290

C++跨平台Word文档处理库DuckX实战指南:从原理到项目集成

在C++开发中,处理Office文档,尤其是Word文件,常因缺乏原生易用的库而面临挑战。Office Open XML(OOXML)作为.docx文件的基础标准,其本质是包含XML文件的ZIP压缩包。理解这一原理,开发者便能通过解析和操作XML来实现文档的读写。DuckX库正是基于此,为C++提供了轻量级的解决方案。它封装了底层的ZIP处理和XML解析,提供了简洁的面向对象API,其技术价值在于实现了跨平台、无外部依赖的Word文档自动化生成与处理。这尤其适用于服务器端、嵌入式环境或需要脱离Office软

weixin_33508411的博客 388

absl教程(五):Synchronization library

absl教程(五):Synchronization library。

sinoai 537

Winform使用TreeView控件实现带复选框的三态树

刚接触c#,项目中用到Treeview实现三态,即选中、未选中、半选中状态,并且要求父子节点选择联动,效果类似下图网上有很多例子,于是研究了一下,结合网上大佬们的例子,所以在这里记录一下。首先新建一个Winform工程拖个TreeView控件,然后运行。。。嗯。。。加点数据吧。private void CreateTree() { TreeNode anime = new TreeNode...

laoyezha的博客 2万+

思科网络进阶——多生成树协议(MSTP)配置的一课一得

三、实验拓扑1)设计一个网络架构,要有核心层和接入层,都使用思科交换机。2)企业有4个部门,要求这四个部门都可以上网,但分属不同的VLAN中,这样今后可以做其它安全策略以确保网络安全,这些策略如今后学到的访问控制列表ACL。3)网络架构的设计要具有冗余,防止一条线路或一台设备终端导致的业务中断。4)由于硬件冗余而产生的环路要处理好,也就是要在逻辑上(或者说通过配置)防止物理环路的产生。5)不能因为防止物理环路而导致某端口没有流量,这样浪费端口资源及设备间互联的带宽资源。

zhu52010的博客 3400

Abseil系列六:synchronization同步库

并发操作如果在多线程环境中没有正确使用(或设计),可能会发生冲突,导致以下问题:操作可能需要对共享资源的写访问。我们称这些问题为内存访问问题。比如变量a初始值为0,两个线程同时执行a = a + 1的操作,因为内存访问问题,2个线程执行后,结果可能不是2。操作可能需要以特定的顺序发生。我们有时将这些问题称为同步问题(尽管内存访问问题也是同步问题)。在任何一种情况下,缺乏对共享资源的控制或缺乏对操作顺序的控制都可能导致竞争条件。

xiaobaiPlayGame的专栏 2089

从零组装电赛送药小车:OpenMV视觉核心+STM32控制,我的软硬件联调全记录

本文详细记录了从零构建电赛智能送药小车的全过程,重点解析了OpenMV视觉识别与STM32控制的深度协同方案。通过硬件选型对比、通信协议设计、PID调参等实战经验,解决了巡线精度、十字路口识别等核心问题,最终实现稳定可靠的送药小车系统,助力电子设计竞赛取得优异成绩。

weixin_42641741的博客 449

C/C++ 怎么理解GUARDED_BY安全编程工具?

GUARDED_BY是Android系统中常用的线程安全编程工具,它可以在变量声明时指明该变量被哪个锁保护,这样就清晰地表明了变量的线程安全策略。具体来看:- mMutex是一个互斥锁对象,用于同步对共享状态的访问。- 使用GUARDED_BY(mMutex)指明mState受mMutex的保护。这样在编译时和运行时就可以检测对mState的正确使用,帮助发现线程安全问题。GUARDED_BY与REQUIRE等工具组合,可以大大提高Android多线程代码的安全性和可维护性。

qq_34503002的博客 912

手把手教你用FPGA实现SerDes高速接口设计(附避坑指南)

本文是一份详尽的FPGA SerDes高速接口设计实战指南。文章深入剖析了SerDes硬核(如GTX/GTH)的时钟管理、发送端均衡、接收端CDR与均衡等核心模块,并提供了Verilog代码示例。重点分享了信号完整性分析、眼图调试与误码率测试等实战经验,附有自定义高速视频流接口的完整实现案例与避坑指南,帮助工程师从“会用”到“懂”且能独立驾驭高速接口设计。

ik678901234的博客 1152

Qt实现思维导图功能1『核心树』

利用Qt的QGraphicsView框架实现思维导图功能 百度网盘体验地址: 链接:https://pan.baidu.com/s/15x9F48agCDOQbsyH3VwVXA 提取码:8svh 注:UI风格参考博主:前行中的小猪,博文地址:https://blog.youkuaiyun.com/GoForwardToStep/article/details/124692790?utm_medium=distribute.pc_relevant.none-task-blog-2~default~baidujs_u

浮生流年的博客 6164

GUARDED_BY(c) 和 PT_GUARDED_BY(c)

GUARDED_BY是一个应用在数据成员上的属性,它声明了数据成员被给定的监护权保护。对于数据的读操作需要共享的访问权限,而写操作需要独占的访问权限。 PT_GUARDED_BY与之类似,只不过它是为指针和智能指针准备的。对数据成员(指针)本身没有任何限制,它保护的是指针指向的数据。 ...

freshman94的博客 3773

HDMI接口及其在编程中的应用

在编程中,我们可以使用HDMI接口来控制和管理连接到计算机的HDMI设备。本文将介绍HDMI接口的基本原理以及如何在编程中使用HDMI接口。在编程中,我们可以使用HDMI接口来控制和管理连接到计算机的HDMI设备。本文介绍了HDMI接口的基本原理,并提供了使用Python编程语言和相关库实现HDMI接口应用的示例代码。我们可以使用编程语言提供的音频库来生成和播放音频,并将其通过HDMI接口输出到连接的设备上。我们可以使用编程语言提供的音频库来生成和播放音频,并将其通过HDMI接口输出到连接的设备上。

CodeByte的博客 804

浅析Go内存管理架构

导读本文基于Go源码版本1.16、64位Linux平台、1Page=8KB、本文的内存特指虚拟内存今天我们开始进入《Go语言轻松系列》第二章「内存与垃圾回收」第二部分「Go语言内存管理」。关于「内存与垃圾回收」章节,会从如下三大部分展开:读前知识储备(已完结)指针的大小内存的线性分配什么是FreeList?虚拟内存TCMalloc内存分配原理Go语言内存管理(当前部分)G...

TIGERB的技术博客 1046

uniapp [全端兼容] - 详细实现下拉筛选菜单功能组件,下拉式筛选菜单效果,类似电商美团点击筛选项底部弹出列表点击选择后自动收起(详细示例代码,全端兼容小程序、安卓苹果app、h5网页、nvue

uni-app,vue2,vue3,向下弹出菜单包含筛选功能,日期筛选,下拉框选择器,下拉多条件筛选,下拉式筛选菜单,uniApp如何实现条件下拉筛选,Uniapp官方条件筛选组件,下拉框式条件筛选插件组件,最好用的插件组件,多端兼容,下拉菜单筛选,过滤筛选列表,下拉筛选栏,多列联动的条件筛选,下拉菜单地区和筛选,微信小程序,支付宝小程序,h5网页,移动端网站,安卓app,苹果app,nvue,uniapp所有平台兼容,下拉菜单筛选,下拉式条件筛选,下拉列表,点击排序,级联筛选,uniapp实现下拉筛选

🏆 前端领域优质创作者 1万+

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

关于Go内存架构,一个有趣的问题

导读本文基于Go源码版本1.16、64位Linux平台、1Page=8KB、本文的内存特指虚拟内存今天我们开始进入《Go语言轻松系列》第二章「内存与垃圾回收」第二部分「Go语言内存管理」。关于「内存与垃圾回收」章节,会从如下三大部分展开:读前知识储备(已完结,点击下方链接查看)指针的大小内存的线性分配什么是FreeList?虚拟内存TCMalloc内存分配原理Go语言内存...

TIGERB的技术博客 535

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

一大波更新预告

号外!号外!!本月将迎来一大波更新,目前看起来大概是5篇左右的文章。知识点不少,目的帮助大家夯实基础、拓宽复杂系统设计思路。本波更新主要为今年Q1季度学习过程的沉淀和输出,更新的内容核心是关于「Go语言内存管理」的设计与实现。由于「Go语言内存管理」是基于Tcmalloc理念设计的,所以去年按计划阅读了Tcmalloc的源码和大量文章。我的学习思路是先了解Tcmalloc...

TIGERB的技术博客 580

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

Linux高级--3.1.2.5 内存池--tcmalloc的使用

tcmalloc是 Google 开发的高性能内存分配器,作为 Google Performance Tools(gperftools)的一部分,可以替代标准的malloc和free提升内存分配性能,特别适合多线程和频繁小内存分配的场景。1. 安装 tcmalloc源码安装make2. 使用 tcmalloc 替代标准内存分配器tcmalloc会提供一个动态库,加载后即可替代系统默认的内存分配器。

weixin_44209111的博客 2652

TCMallloc解密

title: TCMalloc解密 typora-copy-images-to: tcmalloc date: 2018-11-22 23:49:23 keywords: description: mathjax: true tags: 写在前面 本文首先简单介绍TCMalloc及其使用方法,然后解释TCMalloc替代系统的内存分配函数的原理,然后从宏观上讨论其内存分配的策略,在此之后再深入...

xinghun1209的博客 1352

解锁C++性能密码:TCMalloc深度剖析

TCMalloc,全称 Thread - Caching Malloc,即线程缓存的 malloc,是 Google 开发的一款用于替代系统默认内存分配函数(如 malloc、free、new、new [] 等)的高效内存分配器。它实现了高效的多线程内存管理,核心在于为每个线程分配独立的局部缓存,采用线程局部数据技术。在内存管理方面,TCMalloc 将内存划分为不同大小的块,并通过一套精细的缓存机制来管理这些内存块。

深度Linux 1950

线程安全注解——GUARDED_BY

线程安全注解是现代C++开发的机制,可以在代码编译阶段检查锁的使用情况,从而发现线程同步的相关问题。 #1. 线程安全注解的使用 按照clang的线程安全注解文档 可以看到如果需要使用线程安全注解的相关功能需要对锁进行相关的封装之后才可以进行使用。目前存在clang存在两套线程安全注解的使用方法,本文仅介绍最新的线程安全注解使用方式(新的capability机制已经完全取代了之前的lockable机制)。 在使用前,首先了解一下clang官方推荐的mutex.h中实现的几个宏 CAPABILITY//该宏

qq_32648921的博客 9525

内存分配器—TcMalloc

高性能。大多数对象的分配和释放都不需要产生太多的竞争,因为tcmalloc 维护了thread-cache 来提供当前线程的内存分配需求。所以,应用大多数的内存申请需求不会有锁的竞争,而且在多核场景有较好的扩展性。灵活的使用内存资源。用户不使用的内存,tcmalloc会选择服复用或者归还操作系统。降低了每个请求的内存开销。通过分配相同大小的page 降低内存使用的开销,这在小对象场景较为有效。内部信息统计开销较低。能够开启细粒度的应用内存占用信息,来帮助用户展示tcmalloc内部内存使用的细节。

Kiris_king的博客 750

推荐开源项目:jemalloc - 高效且低碎片化的内存分配器

jemalloc是一款专为避免内存碎片和提供可扩展并发支持而设计的通用内存分配器。自2005年起,它成为FreeBSDlibc的一部分,并逐渐在各种应用中崭露头角,以其可预测的行为赢得了广泛的信赖。从2010年开始,jemalloc的发展方向更加多元化,增添了如堆分析和详尽的监控/调整接口等开发者支持特性。如今,jemalloc持续被回馈到FreeBSD项目,这使得它在保持多用途性的同时,也成为了...

gitblog_00036的博客 448

推荐开源项目:mpusher的`alloc` - 高效内存分配器

推荐开源项目:mpusher的alloc - 高效内存分配器 项目简介 在现代软件开发中,内存管理是一项至关重要的任务,特别是在高性能和实时系统中。 是一个高效、轻量级的内存分配器,旨在提高应用程序的内存使用效率和性能。该项目由mpusher团队创建并维护,提供了C语言实现的接口,可以方便地集成到各种C或C++项目中。 技术分析 alloc内存分配器采用了先进的内存管理策略,包括: 分页管理:...

gitblog_00045的博客 369

推荐开源项目:memalloc - 简单内存分配器

推荐开源项目:memalloc - 简单内存分配器 1、项目介绍 memalloc 是一个轻量级的内存分配器,它提供了与标准 C 库中的 malloc()、calloc()、realloc() 和 free() 函数相兼容的接口。这个项目旨在帮助开发者理解和实现自己的内存管理机制,并在实际应用中进行实验。 2、项目技术分析 memalloc 的设计灵感来源于 这篇文章。它通过直接编译成共享对象库(...

gitblog_00021的博客 769

内存分配器

前言            内存空间包含两个重要区域:栈区(Stack)和堆区(Heap)。函数调用的参数、返回值以及局部变量大都会被分配到栈上,这部分内存会由编译器进行管理;不同编程语言使用不同的方法管理堆区的内存,C++ 等编程语言会由工程师主动申请和释放内存,Go 以及 Java 等编程语言会由工程师和编译器共同管理,堆中的对象由内存分配器分配并由垃圾收集器回收。因此这里主要讨论堆中的内存。 设计原理     内

paccpjsystematic的博客 426
上一篇: 64位平台下,指针自身的大小为什么是8字节?
下一篇: 为什么说Go的Map是无序的?
TIGERB_Blog
博客等级 码龄10年 109粉丝 65原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值