F2FS之读取最新的checkpoint块

最新推荐文章于 2024-06-07 17:30:11 发布
最新推荐文章于 2024-06-07 17:30:11 发布
阅读量633 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： F2FS文件系统 文章标签： linux kernel
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wenj12/article/details/115390908

在F2FS文件系统中为了读取最新的CP块给超级块对象中的sbi->ckpt，是调用int get_valid_checkpoint(struct f2fs_sb_info *sbi)函数 。

int get_valid_checkpoint(struct f2fs_sb_info *sbi)
{
	struct f2fs_checkpoint *cp_block;
	struct f2fs_super_block *fsb = sbi->raw_super;//磁盘超级块
	struct page *cp1, *cp2, *cur_page;
	unsigned long blk_size = sbi->blocksize;
	unsigned long long cp1_version = 0, cp2_version = 0;
	unsigned long long cp_start_blk_no;

	sbi->ckpt = kzalloc(blk_size, GFP_KERNEL);
	if (!sbi->ckpt)
		return -ENOMEM;
	/*
	 * Finding out valid cp block involves read both
	 * sets( cp pack1 and cp pack 2)
	 */
	cp_start_blk_no = le32_to_cpu(fsb->cp_blkaddr);//检查点的开始块地址
	cp1 = validate_checkpoint(sbi, cp_start_blk_no, &cp1_version);

	/* The second checkpoint pack should start at the next segment */
	//第二个检查点包应从下一个segment开始
	cp_start_blk_no += 1 << le32_to_cpu(fsb->log_blocks_per_seg);
	cp2 = validate_checkpoint(sbi, cp_start_blk_no, &cp2_version);

	if (cp1 && cp2) {//如果两个检查点都有效，则选择最新的检查点
		if (ver_after(cp2_version, cp1_version))
			cur_page = cp2;
		else
			cur_page = cp1;
	} else if (cp1) {
		cur_page = cp1;
	} else if (cp2) {
		cur_page = cp2;
	} else {
		goto fail_no_cp;
	}

	cp_block = (struct f2fs_checkpoint *)page_address(cur_page);//将最新的CP赋值给CP块
	memcpy(sbi->ckpt, cp_block, blk_size);//将新的CP块赋值给超级块内存对象

	f2fs_put_page(cp1, 1);
	f2fs_put_page(cp2, 1);
	return 0;

fail_no_cp:
	kfree(sbi->ckpt);
	return -EINVAL;
}

分析一下这个函数：首先先给sbi->ckpt创建一个块大小的内存空间。接着从磁盘超级块的fsb->cp_blkaddr中获取磁盘CP的起始地址。然后调用validate_checkpoint(sbi, cp_start_blk_no, &cp1_version)检查第一个CP是否有效 ，该函数会从磁盘中读取对应的f2fs_checkpoint结构（大小为一个块），并判断该CP是否有效，如果有效则返回对应的page，无效则返回null，细节见下面的函数分析。接着将cp_start_blk_no加上一个segment，因为在磁盘上第二个CP在第二个segment，同样调用validate_checkpoint(sbi, cp_start_blk_no, &cp1_version)检查第二个CP是否有效。随后根据两次调用的结果，cp1和cp2判断是否都有返回值，并且根据version的大小选择最新的f2fs_checkpoint。得到最新的f2fs_checkpoint即cur_page后，将cur_page做类型转换后复制到超级块的sbi->ckpt处即可。

下面分析一下上面调用的validate_checkpoint：

static struct page *validate_checkpoint(struct f2fs_sb_info *sbi,
				block_t cp_addr, unsigned long long *version)
{
	struct page *cp_page_1, *cp_page_2 = NULL;
	unsigned long blk_size = sbi->blocksize;//块大小
	struct f2fs_checkpoint *cp_block;//磁盘检查点块
	unsigned long long cur_version = 0, pre_version = 0;
	unsigned int crc = 0;
	size_t crc_offset;

	/* Read the 1st cp block in this CP pack */
	cp_page_1 = get_meta_page(sbi, cp_addr);//从磁盘上读取cp_addr处的检查点页

	/* get the version number */
	cp_block = (struct f2fs_checkpoint *)page_address(cp_page_1);//checkpoint块
	crc_offset = le32_to_cpu(cp_block->checksum_offset);//校验和偏移量
	if (crc_offset >= blk_size)
		goto invalid_cp1;

	crc = *(unsigned int *)((unsigned char *)cp_block + crc_offset);//读取CRC校验码值
	if (!f2fs_crc_valid(crc, cp_block, crc_offset))
		goto invalid_cp1;//校验和失效

	pre_version = le64_to_cpu(cp_block->checkpoint_ver);//第一个checkpoint的版本号

	/* Read the 2nd cp block in this CP pack *///cp pack可能是2个segment，第一个cp在第一个块，第2个cp在最后一个块
	cp_addr += le32_to_cpu(cp_block->cp_pack_total_block_count) - 1;//第二个检查点地址为第一个检查点地址加自己占有的块数
	cp_page_2 = get_meta_page(sbi, cp_addr);//从磁盘上读取cp_addr处的检查点页

	cp_block = (struct f2fs_checkpoint *)page_address(cp_page_2);
	crc_offset = le32_to_cpu(cp_block->checksum_offset);
	if (crc_offset >= blk_size)
		goto invalid_cp2;

	crc = *(unsigned int *)((unsigned char *)cp_block + crc_offset);
	if (!f2fs_crc_valid(crc, cp_block, crc_offset))
		goto invalid_cp2;

	cur_version = le64_to_cpu(cp_block->checkpoint_ver);

	if (cur_version == pre_version) {//比较两个检查点的版本号相等否
		*version = cur_version;
		f2fs_put_page(cp_page_2, 1);
		return cp_page_1;
	}
invalid_cp2:
	f2fs_put_page(cp_page_2, 1);
invalid_cp1:
	f2fs_put_page(cp_page_1, 1);
	return NULL;
}

该函数从页缓存中读取有效检查点的块，version为有效的版本号，判断该cp是否有效。首先cp_page_1 = get_meta_page(sbi, cp_addr)从磁盘上读取cp_addr处的检查点页，也就是该CP的第一个f2fs_checkpoint块然后读取他的校验和并判断是否有效，随后获得他的pre_version版本号。随后再来读取该CP的第二个f2fs_checkpoint块，首先获得他的块地址cp_addr += le32_to_cpu(cp_block->cp_pack_total_block_count) - 1;因为第二个f2fs_checkpoint块在CP的最后一个块，随后同理得到第二个f2fs_checkpoint块的版本号。比较两个f2fs_checkpoint块的版本号是否相同，如果相同，则表明该CP有效，并返回第一个f2fs_checkpoint块，否则该CP无效，返回NULL。

f2fs系列之六：checkpoint
weixin_34211761的博客
02-10 852
f2fs 的checkpoint 维护data、node和meta data(SIT,NAT)的数据一致性，把一起写到SSA区域的数据分别写回到SIT/NAT区域。 checkpoint 相关数据结构 super block区域里记录了checkpoint （CP)的起始block address，以及checkpoint 区域segment 的数量： struct f2fs_super_bloc...
f2fs的checkpoint
qwerrfxgj的博客
02-20 1918
    checkpoint是为了提供一个一致的还原点，所以要记录某个一致的时刻（快照，数据和元数据一致），写到专有的CheckPoint area，持久化。    进行cp的时机：sync    umount     foreground cleaning     cp的过程：           1、把pagecache中的脏node和脏dentry block，flush到设备上      ...
F2FS之write_checkpoint
wenj12的博客
04-02 1704
F2FS需要在特定的时刻将Checkpoint的数据写入到磁盘中。 Checkpoint的时机 CP是一个开销很大的操作，因此合理选取CP时机，能够很好地提高性能。CP的触发时机有: 前台GC(FG_GC) FASTBOOT UMOUNT DISCARD RECOVERY TRIM 周期进行 因此F2FS有几个宏表示CP的触发原因: #define CP_UMOUNT 0x00000001 #define CP_FASTBOOT 0x00000002 #define CP_SYNC 0x00000004
f2fs学习笔记 -12. f2fs checkpoint[转]
HZero
01-11 1145
1.前言 本文主要记录checkpoint的过程 2.checkpoint的时机 1.gc: 当空闲segment 不足的时候，可以通过check point 释放。 2.sync:执行sync操作时 3.super_block: super block 的put_super 接口需要通过f2fs_write_checkpoint() 来把没有来得及umount导致的可能不一致的数据重新做一次check point。 3.checkpoint的流程 f2fs_sync_fs write_checkpoin
F2FS源码分析-1.3 [F2FS 元数据布局部分] Checkpoint结构
Hubery的存储点滴
07-03 4468
Checkpoint结构 Checkpoint是维护F2FS的数据一致性的结构，它维护了系统当前的状态，例如segment的分配情况，node的分配情况，以及当前的active segment的状态等。F2FS在满足一定的条件的情况下，将当前系统的状态写入Checkpoint中，万一系统出现突然宕机，这个是F2FS可以从Checkpoint中恢复到上次回写时的状态，以保证数据的可恢复性。F2FS维...
4.3 F2FS
shenfan321的博客
09-27 569
基于LFS(Log-structured File System)类型，使用copy-on-write策略直接写到新的数据块上，避免等待block擦除的开销，解决了需要先擦后写的问题；：在设备的第一个Segment (2MB)内。考虑到冗余，有2个f2fs_super_block结构，包括整个磁盘的segment数量、各个管理区域的起始地址、支持的特性。append-only的日志写策略，将随机写转化成顺序写。为了保证数据一致性,分为CP #0和CP #1，每个CP占一个Segment（2MB）
f2fs学习四: f2fs文件系统挂载
guozhidixian的博客
04-07 5307
f2fs_mount
f2fs系列文章fill_super（二）
WaterWin的博客
11-26 1498
    sb_set_blocksize通过函数set_blocksize对size进行检查并设置块设备的块大小。然后将super block的s_blocksize，s_blocksize_bits设置F2FS_BLKSIZE和F2FS_BLKSIZE相应的bit位数。 int sb_set_blocksize(struct super_block *sb, int size) { if ...
f2fs系列文章fsck（五）
WaterWin的博客
11-26 1888
    fsck_verify通过前面的检查结果来修正元数据。     首先是对nid的检查情况进行查看，f2fs_fsck中的nat_area_bitmap从开始的读取f2fs_nat_block中的所有的f2fs_nat_entry来记录所有有效的nid，但是在遍历的过程中在调用sanity_check_nid的时候已经将所有正常的nid都给clear掉了，所以在检查这个位图的时候，如果发现...
f2fs系列文章gc
WaterWin的博客
11-26 2663
    这篇文章将讲述f2fs的gc，其主要的步骤应该是分为两步，首先select一个合适的section，然后将section中的数据全部迁移。       f2fs_gc：这个函数主要有两个函数调用gc线程和f2fs_balance_fs。首先检查super_block是否设置MS_ACTIVE,也就是super_block处于活动状态（目前不知道什么个状态），如果设置了就不做gc了。然后...
F2FS文件系统二 实验分析f2fs文件系统
frank_zyp的博客
08-01 5328
一、环境准备： 1、ubuntu系统安装f2fs-tools：sudo apt-get install -y f2fs-tools 2、使用系统loop设备进行实践操作： dd if=/dev/zero of=device bs=4K count=51200 //200M losetup /dev/loop0 device //寻址可用的loop设备 mkfs.f2fs -l f...
F2FS源码分析-5.2 [数据恢复流程] 后滚恢复和Checkpoint的作用与实现
Hubery的存储点滴
10-10 2475
Checkpoint的作用与实现 后滚恢复即恢复到上一个Checkpoint点的元数据状态，因此F2FS需要在特定的时刻将Checkpoint的数据写入到磁盘中。 Checkpoint的时机 CP是一个开销很大的操作，因此合理选取CP时机，能够很好地提高性能。CP的触发时机有: 前台GC(FG_GC) FASTBOOT UMOUNT DISCARD RECOVERY TRIM 周期进行 因此F...
抛开代码细节看f2fs文件系统组织方式
内核工匠
06-07 2710
一、前言“文件系统是操作系统用于明确存储设备（常见的是磁盘，也有基于NAND Flash的固态硬盘）或分区上的文件的方法和数据结构；即在存储设备上组织文件的方法。操作系统中负责管理和存储文件信息的软件机构称为文件管理系统，简称文件系统。文件系统由三部分组成：文件系统的接口，对对象操纵和管理的软件集合，对象及属性。从系统角度来看，文件系统是对文件存储设备的空间进行组织和分配，负责文件存储并对存入的...
f2fs学习笔记 - 1. f2fs概述
HZero
01-10 8608
1. 前言 本文主要通过回答几个问题来概要了解f2fs，这几个问题包括： f2fs是什么？ 为何引入f2fs? f2fs如何工作？ f2fs如何做到随机写入顺序化？ f2fs如何解决雪崩问题？ 2. f2fs是什么？ F2FS (Flash Friendly File System) 是专门针对SSD、eMMC、UFS等闪存设备设计的文件系统。基于LFS，同时解决了LFS的一些问题。由三星工程师Jaegeuk Kim于2012年10月发布到Linux社区，并于2012年12月进入Linux 3.8 内核
f2fs解析（二）f2fs写checkpoint时如何冻住整个文件系统
weixin_30243533的博客
09-14 265
函数write_checkpoint中，会调用block_operations，函数中有这样一段代码： retry_flush_dents: f2fs_lock_all(sbi); /* write all the dirty dentry pages */ if (get_pages(sbi, F2FS_DIRTY_DENTS)) { f2f...
checkpoint详解
zzwssfd
06-15 766
这段时间对checkpoint完成的工作很迷糊，参考http://www.dbabeta.com/2008/all_about_oracle_checkpoint.html#sec1
f2fs系列之八： 最全的SSA 总结
weixin_34337265的博客
02-13 1191
理解SSA的难点在于 SSA如何避免对SIT/NAT区域零星的写。这需要深入理解SSA 自身和相关的数据结构和协作关系。 data/node 根据数据冷热分区 分区的数据以log/journal 的形式落盘 每种类型当前写的segment/block 信息都记录在 内存cursegments 中 记录方式是 f2fs_summary_block ， 这个数据结构里面包含f2fs_journal 信...
WiredTiger系列3:Checkpoint/Block Mgr
Alive的博客
03-13 1126
在evict一章中我们简单描述了内存page在写盘时如何是选取磁盘写入位置的： 选择当前btree文件的空闲块中大小最合适的块，裁选出所需大小的块（如果没有这样的空闲块，那么向文件末尾写入）。 这一工作是通过block manager（__wt_block）完成的，每个block manager代表了一个实际的table磁盘文件，其中包括了磁盘块分配、数据压缩等内容，整个模块解读起来稍显复杂。 但是幸运的是，对于磁盘块分配而言，我们并不需要过多关注block manager本身的具体结构与创建流程等，只
oracle内部原理_如何修改block数据块大体流程_checkpoint
04-18 188
用户修改一个数据块的流程:1,先把数据块自磁盘或数据文件读入buffer cache2,先生成重作记录，并记入log buffer中（当用户提交这个修改数据块事务时） 一并把对应的重作记录（此时还在log buffer）写入到...
f2fs_node在哪个函数被初始化
最新发布
07-09
<think>我们正在讨论F2FS文件系统中的`f2fs_node`结构体初始化问题。根据用户的问题，他明确要求查找`f2fs_node`结构体在何时被初始化的具体函数。 回顾之前的讨论，我们知道`f2fs_node`是磁盘上的结构，代表一个inode在磁盘上的存储格式（包括直接指针、间接指针等）。它的初始化发生在文件或目录创建时，以及文件系统挂载时（从磁盘加载）。 现在，我们需要具体到初始化这个结构体的函数。根据F2FS源码，我们可以分析： 1. **文件创建时**：当创建一个新文件或目录时，需要初始化一个新的inode。在F2FS中，这个操作会调用`f2fs_new_inode`函数。在这个函数中，会分配一个新的inode号，并初始化磁盘上的inode结构（即`f2fs_node`）。 2. **具体初始化函数**：在`f2fs_new_inode`函数中，会进一步调用`init_inode_metadata`函数来初始化inode的元数据。而`f2fs_node`的初始化实际上是在写入磁盘时完成的，具体来说，是在`f2fs_do_write_inode`函数中，该函数会将内存中的inode信息（`f2fs_inode_info`）转换为磁盘上的`f2fs_node`结构并写入磁盘。 3. **写入磁盘**：在`f2fs_do_write_inode`函数中，会调用`f2fs_write_inode`函数（该函数在用户提供的引用[1]中提到）来将inode写入磁盘。写入的内容就是`f2fs_node`结构。 4. **挂载时初始化**：挂载时，`f2fs_node`结构体是从磁盘读取到内存的，而不是初始化（因为已经在磁盘上存在）。读取操作通过`f2fs_get_node_page`函数完成，该函数会读取磁盘上的node page（包含`f2fs_node`）到内存。 因此，`f2fs_node`结构体的初始化（即创建新的inode并写入磁盘）主要发生在`f2fs_new_inode`函数中，并通过`f2fs_do_write_inode`写入磁盘。 具体步骤： - 在`f2fs_new_inode`函数中，调用`new_inode_page`函数来分配一个新的node page（即一个`f2fs_node`的磁盘空间）。 - 然后，通过`init_inode_metadata`函数初始化inode的元数据（包括设置`f2fs_node`的各个字段）。 - 最后，通过`f2fs_do_write_inode`将inode写入磁盘，此时`f2fs_node`被写入磁盘。 所以，初始化`f2fs_node`结构体的函数主要是`init_inode_metadata`（设置内容）和`f2fs_do_write_inode`（写入磁盘）。 另外，用户提供的引用[2]中提到了`sync_node_pages`函数，该函数用于将脏的node page（即包含`f2fs_node`的页面）写回磁盘，但这属于写回过程，而不是初始化。 因此，回答用户问题：`f2fs_node`结构体的初始化发生在`f2fs_new_inode`函数中，具体初始化操作在`init_inode_metadata`函数中完成，然后通过`f2fs_do_write_inode`写入磁盘。 注意：在内存中，`f2fs_node`结构体实际上是通过`f2fs_get_node_page`从磁盘读取到内存的node page中，然后通过`inline_data`等条件进行解析。但创建新的`f2fs_node`（即初始化）是在文件创建时。 总结： - 创建时初始化：`f2fs_new_inode` -> `init_inode_metadata` -> 设置`f2fs_node`的各个字段 -> 通过`f2fs_do_write_inode`写入磁盘。 - 挂载时加载：通过`f2fs_get_node_page`读取磁盘上的`f2fs_node`到内存。 现在，我们给出具体回答。</think>### `f2fs_node`结构体的初始化函数分析 在F2FS文件系统中，`f2fs_node`结构体（磁盘级inode）的初始化主要发生在**文件/目录创建**和**文件系统挂载**两个阶段。以下是具体实现函数和流程： --- #### 1. **文件/目录创建时的初始化（核心场景）** 当创建新文件或目录时，通过以下函数链完成`f2fs_node`的初始化： ```c f2fs_create() / f2fs_mkdir() └── f2fs_new_inode() // 分配新inode号 └── new_inode_page() // 分配磁盘空间 └── f2fs_init_inode_metadata() // 核心初始化函数[^1] ├── set_page_dirty(node_page) // 标记为脏页 └── f2fs_do_write_inode() // 最终写入磁盘 ``` 关键函数说明： - **`f2fs_init_inode_metadata()`** 这是初始化`f2fs_node`的核心函数，负责： - 设置基础元数据（`i_mode`, `i_size`, `i_links`等） - 初始化数据块指针（直接/间接指针） - 生成唯一inode编号 ```c // 伪代码逻辑 void f2fs_init_inode_metadata(struct inode *inode) { struct f2fs_inode *ri = F2FS_INODE(node_page); // 获取f2fs_node指针 ri->i_mode = cpu_to_le16(inode->i_mode); // 设置权限 ri->i_size = 0; // 初始文件大小=0 ri->i_links = cpu_to_le32(1); // 初始链接数=1 // ...初始化其他字段... } ``` - **`f2fs_do_write_inode()`** 通过`f2fs_write_inode()`将内存中的`f2fs_node`写入磁盘[^1]： ```c int f2fs_do_write_inode(struct inode *inode) { struct f2fs_inode_info *fi = F2FS_I(inode); struct page *node_page = get_node_page(sbi, inode->i_ino); // 获取磁盘页 f2fs_wait_on_page_writeback(node_page, NODE, true); // 等待写回完成 set_page_dirty(node_page); // 标记脏页 f2fs_put_page(node_page, 1); // 释放页引用 } ``` --- #### 2. **文件系统挂载时的初始化** 挂载时通过Checkpoint机制加载已有的`f2fs_node`： ```c f2fs_fill_super() └── build_node_manager() // 初始化节点管理器 └── sync_node_pages() // 同步节点页[^2] └── f2fs_get_node_page() // 从磁盘读取节点页 └── read_node_page() // 实际读盘函数 ``` 关键流程： - `read_node_page()`提交bio请求读取磁盘块： ```c int read_node_page(struct page *page) { struct f2fs_node *rn = page_address(page); // 获取f2fs_node内存映射 struct f2fs_io_info fio = { .type = NODE, .op = REQ_OP_READ, .page = page }; f2fs_submit_page_bio(&fio); // 触发磁盘读取 } ``` - 读取的磁盘数据直接映射到`struct f2fs_node`内存结构中 --- ### 关键区别：初始化 vs 加载 | 操作类型 | 函数路径 | 触发条件 | 本质行为 | |----------|--------------------------|-----------------------|------------------------| | **初始化** | `f2fs_init_inode_metadata` | 文件/目录创建 | 构造**新**磁盘inode结构 | | **加载** | `read_node_page` | 文件系统挂载/文件访问 | 读取**已有**磁盘数据 | > **注意**：`f2fs_node`是磁盘持久化结构，其初始化仅在文件创建时发生一次，后续修改通过`f2fs_write_inode()`更新[^1]。 --- ### 典型调用栈示例 **文件创建场景**： ```plaintext 用户调用 touch test.txt → VFS: vfs_create() → F2FS: f2fs_create() → f2fs_new_inode() → new_inode_page() // 分配磁盘页 → f2fs_init_inode_metadata() // 初始化f2fs_node → f2fs_do_write_inode() // 写入磁盘[^1] ``` **挂载场景**： ```plaintext mount -t f2fs /dev/sda1 /mnt → f2fs_fill_super() → build_node_manager() → sync_node_pages() // 同步节点页[^2] → f2fs_get_node_page() → read_node_page() // 读取磁盘f2fs_node ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值