wiretiger存储引擎源码解读----checkpoint相关数据结构

本文主要介绍了WireTiger存储引擎中与checkpoint相关的数据结构,包括__wt_ckpt、__wt_block_ckpt、__wt_block、__wt_bm和__wt_btree等。这些结构体在元数据、B树引擎和块管理器之间共享checkpoint信息。同时,文章还提到了WT_REF及其不同状态,以及WT_EXTLIST在存储引擎中的作用。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

在这里插入图片描述
上图中是为了表现几个数据结构之间的关系,有简化

__wt_ckpt

在src/include/meta.h文件中定义的,是元数据信息相关的结构体
源码中是这个注释的:
Encapsulation of checkpoint information, shared by the metadata, the btree engine, and the block manager.
丰封装了checkpoint信息,共享于元数据、btree引擎、和block manager

struct __wt_ckpt {
   
	char	*name;				/* Name or NULL;  WiredTigerCheckpoint.127594 */

	WT_ITEM  addr;				/* Checkpoint cookie string */
	WT_ITEM  raw;				/* Checkpoint cookie raw */

	int64_t	 order;				/* Checkpoint order */

	uintmax_t sec;				/* Timestamp */

	uint64_t ckpt_size;			/* Checkpoint size */

	uint64_t write_gen;			/* Write generation */

	void	*bpriv;				/* Block manager private */

/* AUTOMATIC FLAG VALUE GENERATION START */
#define	WT_CKPT_ADD	0x1u			/* Checkpoint to be added */
#define	WT_CKPT_DELETE	0x2u			/* Checkpoint to be deleted */
#define	WT_CKPT_FAKE	0x4u			/* Checkpoint is a fake */
#define	WT_CKPT_UPDATE	0x8u			/* Checkpoint requires update */
/* AUTOMATIC FLAG VALUE GENERATION STOP */
	uint32_t flags;
};

__wt_block_ckpt

在src/include/block.h文件中定义的,
源码中是这么注释的:

  • Checkpoint cookie: carries a version number as I don’t want to rev the schema
  • file version should the default block manager checkpoint format change.
  • Version #1 checkpoint cookie format:
  • [1] [root addr] [alloc addr] [avail addr] [discard addr]
  • [file size] [checkpoint size] [write generation]
    */
struct __wt_block_ckpt {
   
	uint8_t	 version;			/* Version */

	wt_off_t root_offset;			/* The root */
	uint32_t root_checksum, root_size;

	WT_EXTLIST alloc;			/* Extents allocated */
	WT_EXTLIST avail;			/* Extents available */
	WT_EXTLIST discard;			/* Extents discarded */

	wt_off_t   file_size;			/* Checkpoint file size */
	uint64_t   ckpt_size;			/* Checkpoint byte count */

	WT_EXTLIST ckpt_avail;			/* Checkpoint free'd extents */

	/*
	 * Checkpoint archive: the block manager may potentially free a lot of
	 * memory from the allocation and discard extent lists when checkpoint
	 * completes.  Put it off until the checkpoint resolves, that lets the
	 * upper btree layer continue eviction sooner.
	 */
	WT_EXTLIST ckpt_alloc;			/* Checkpoint archive */
	WT_EXTLIST ckpt_discard;		/* Checkpoint archive */
};

__wt_block

在src/include/block.h文件中定义的,
Block manager handle, references a single file.
每一个数据文件对应一个WT_BLOCK

struct __wt_block {
   
	const char *name;		/* Name */ //文件名  数据文件的文件名, xxxx.wt
	uint64_t name_hash;		/* Hash of name */

	/* A list of block manager handles, sharing a file descriptor. */
	uint32_t ref;			/* References */
	TAILQ_ENTRY(__wt_block) q;	/* Linked list of handles */
	TAILQ_ENTRY(__wt_block) hashq;	/* Hashed list of handles */

	WT_FH	*fh;			/* Backing file handle */
	wt_off_t size;			/* File size */  文件大小
	wt_off_t extend_size;		/* File extended size */  当前ckpt的extend_size,也就是文件的有效大小
	wt_off_t extend_len;		/* File extend chunk size */

	/* Configuration information, set when the file is opened. */
	uint32_t allocfirst;		/* Allocation is first-fit */
	uint32_t allocsize;		/* Allocation size */
	size_t	 os_cache;		/* System buffer cache flush max */
	size_t	 os_cache_max;
	size_t	 os_cache_dirty;	/* System buffer cache write max */
	size_t	 os_cache_dirty_max;

	u_int	 block_header;		/* Header length */

	/*
	 * There is only a single checkpoint in a file that can be written.  The
	 * information could logically live in the WT_BM structure, but then we
	 * would be re-creating it every time we opened a new checkpoint and I'd
	 * rather not do that.  So, it's stored here, only accessed by one WT_BM
	 * handle.
	 */
	WT_SPINLOCK	live_lock;	/* Live checkpoint lock */
	WT_BLOCK_CKPT	live;		/* Live checkpoint */  //目前正在使用的ckpt
#ifdef HAVE_DIAGNOSTIC
	bool		live_open;	/* Live system is open */
#endif
					/* Live checkpoint status */
	enum {
    WT_CKPT_NONE=0, WT_CKPT_INPROGRESS,
	    WT_CKPT_PANIC_ON_FAILURE, WT_CKPT_SALVAGE } ckpt_state; //checkpoint的状态

				/* Compaction support */
	int	 compact_pct_tenths;	/* Percent to compact */
	uint64_t compact_pages_reviewed;/* Pages reviewed */
	uint64_t compact_pages_skipped;	/* Pages skipped */
	uint64_t compact_pages_written;	/* Pages rewritten */

				/* Salvage support */
	wt_off_t	slvg_off;	/* Salvage file offset */

				/* Verification support */
	bool	   verify;		/* If performing verification */
	bool	   verify_layout
### RT-DETRv3 网络结构分析 RT-DETRv3 是一种基于 Transformer 的实时端到端目标检测算法,其核心在于通过引入分层密集正监督方法以及一系列创新性的训练策略,解决了传统 DETR 模型收敛慢和解码器训练不足的问题。以下是 RT-DETRv3 的主要网络结构特点: #### 1. **基于 CNN 的辅助分支** 为了增强编码器的特征表示能力,RT-DETRv3 引入了一个基于卷积神经网络 (CNN) 的辅助分支[^3]。这一分支提供了密集的监督信号,能够与原始解码器协同工作,从而提升整体性能。 ```python class AuxiliaryBranch(nn.Module): def __init__(self, in_channels, out_channels): super(AuxiliaryBranch, self).__init__() self.conv = nn.Conv2d(in_channels, out_channels, kernel_size=3, padding=1) self.bn = nn.BatchNorm2d(out_channels) def forward(self, x): return F.relu(self.bn(self.conv(x))) ``` 此部分的设计灵感来源于传统的 CNN 架构,例如 YOLO 系列中的 CSPNet 和 PAN 结构[^2],这些技术被用来优化特征提取效率并减少计算开销。 --- #### 2. **自注意力扰动学习策略** 为解决解码器训练不足的问题,RT-DETRv3 提出了一种名为 *self-att 扰动* 的新学习策略。这种策略通过对多个查询组中阳性样本的标签分配进行多样化处理,有效增加了阳例的数量,进而提高了模型的学习能力和泛化性能。 具体实现方式是在训练过程中动态调整注意力权重分布,确保更多的高质量查询可以与真实标注 (Ground Truth) 进行匹配。 --- #### 3. **共享权重解编码器分支** 除了上述改进外,RT-DETRv3 还引入了一个共享权重的解编码器分支,专门用于提供密集的正向监督信号。这一设计不仅简化了模型架构,还显著降低了参数量和推理时间,使其更适合实时应用需求。 ```python class SharedDecoderEncoder(nn.Module): def __init__(self, d_model, nhead, num_layers): super(SharedDecoderEncoder, self).__init__() decoder_layer = nn.TransformerDecoderLayer(d_model=d_model, nhead=nhead) self.decoder = nn.TransformerDecoder(decoder_layer, num_layers=num_layers) def forward(self, tgt, memory): return self.decoder(tgt=tgt, memory=memory) ``` 通过这种方式,RT-DETRv3 实现了高效的目标检测流程,在保持高精度的同时大幅缩短了推理延迟。 --- #### 4. **与其他模型的关系** 值得一提的是,RT-DETRv3 并未完全抛弃经典的 CNN 技术,而是将其与 Transformer 结合起来形成混合架构[^4]。例如,它采用了 YOLO 系列中的 RepNCSP 模块替代冗余的多尺度自注意力层,从而减少了不必要的计算负担。 此外,RT-DETRv3 还借鉴了 DETR 的一对一匹配策略,并在此基础上进行了优化,进一步提升了小目标检测的能力。 --- ### 总结 综上所述,RT-DETRv3 的网络结构主要包括以下几个关键组件:基于 CNN 的辅助分支、自注意力扰动学习策略、共享权重解编码器分支以及混合编码器设计。这些技术创新共同推动了实时目标检测领域的发展,使其在复杂场景下的表现更加出色。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值