Linux缺页异常处理

Python入门第五次作业复盘:从类型转换到数据聚合与打包全解析 Python作为新手最常接触的编程语言,语法简单但综合应用常令人困惑。理解类型转换、异常处理和函数封装是写出健壮代码的前提,而分组聚合、数据统计则是处理结构化数据的核心能力。从公开接口获取数据、清洗转换、统计分析到结果导出CSV,构成了一个小型数据项目的完整闭环。同时,借助pandas可以高效验证手写聚合逻辑,matplotlib能直观展示统计结果,PyInstaller则能将程序打包为可执行文件,便于分发使用。本文以一堂Python入门班的第五次综合作业为线索,完整复盘了从环境配置、代码编写、报错排查到打 阅读详情

1.如果访问的虚拟地址在进程空间没有对应的VMA(mmap和malloc可以分配vma),则缺页处理失败,程序出现段错误.

2.Linux把没有映射到文件的映射叫做匿名映射(malloc和mmap的匿名映射)。

3.remap_pfn_range把内核内存映射到用户空间,一般在设备驱动的mmap函数中调用.

int remap_pfn_range(struct vm_area_struct *vma, unsigned long addr,
            unsigned long pfn, unsigned long size, pgprot_t prot)

4.mmap与malloc的区别

 malloc只能用来分配匿名私有映射,而mmap可以分配四种不同的映射

分配内存小于128k时,malloc分配地址从start_brk开始,也就是数据段之后,mmap起始地址位于mmap区

malloc分配小于128k时,由brk系统调用实现,而大于128k,由mmap系统调用实现.

总之,mmap功能比malloc强大. malloc是mmap的特殊情况。

5.缺页中断分析

   缺页中断,无非就是建立GPD->PMD->PTE到page的映射关系,malloc和mmap函数,只是给进程分配了虚拟地址空间(VMA),而并没有分配物理内存,更没有建立对应的页表映射.缺页中断主要函数:handle_mm_fault>handle_pte_fault,主要进行物理内存分配,预读文件,建立页表等,分四种情况:

  私有匿名内存映射, 文件映射缺页中断, swap缺省中断,写时复制(COW)缺页中断.

5.1 私有匿名内存映射

     私有的匿名内存映射又可以分为只读缺页,可写缺页中断两种情况,处理函数为do_anonymous_page,应用场景为malloc内存分配

 只读缺页时,会从zero page分配一个page,并填充具体的pte表项

    可写缺页时,直接从伙伴系统分配一个page,并填充pte表项

static int do_anonymous_page(struct mm_struct *mm, struct vm_area_struct *vma,
		unsigned long address, pte_t *page_table, pmd_t *pmd,
		unsigned int flags)
{
	/*只读缺页中断,直接分配一个zero page */
	/* Use the zero-page for reads */
	if (!(flags & FAULT_FLAG_WRITE) && !mm_forbids_zeropage(mm)) {
		entry = pte_mkspecial(pfn_pte(my_zero_pfn(address),
						vma->vm_page_prot));
		page_table = pte_offset_map_lock(mm, pmd, address, &ptl);
		goto setpte;//设置pte页表项
	}

	/*可读的缺页中断,直接从伙伴系统分配页面 */
	page = alloc_zeroed_user_highpage_movable(vma, address);
	if (!page)
		goto oom;
	/*设置页面内容有效 */
	__SetPageUptodate(page);

        /*生成pte表项值 */
	entry = mk_pte(page, vma->vm_page_prot);
	if (vma->vm_flags & VM_WRITE)
		entry = pte_mkwrite(pte_mkdirty(entry));
        /*关联匿名页表 */
	page_add_new_anon_rmap(page, vma, address);
	/*添加到lru链表 */
	lru_cache_add_active_or_unevictable(page, vma);
setpte:
	set_pte_at(mm, address, page_table, entry);
	return 0;
}

5.2 文件映射缺页中断

     可以分为三种情况,只读缺页中断(mmap读取文件),  写时复制缺页中断(加载动态库),共享缺页中断(进程通信),函数do_fault处理这三种情况

static int do_fault(struct mm_struct *mm, struct vm_area_struct *vma,
		unsigned long address, pte_t *page_table, pmd_t *pmd,
		unsigned int flags, pte_t orig_pte)
{
	pgoff_t pgoff = (((address & PAGE_MASK)
			- vma->vm_start) >> PAGE_SHIFT) + vma->vm_pgoff;

	pte_unmap(page_table);
	/*可读缺页中断*/
	if (!(flags & FAULT_FLAG_WRITE))
		return do_read_fault(mm, vma, address, pmd, pgoff, flags,
				orig_pte);
	/*写时复制缺页中断 */
             if (!(vma->vm_flags & VM_SHARED))
		return do_cow_fault(mm, vma, address, pmd, pgoff, flags,
		orig_pte);
        /*共享内存缺页中断 */
	return do_shared_fault(mm, vma, address, pmd, pgoff, flags, orig_pte);
}

 

5.2.1 只读缺页中断

  先介绍struct vm_operations_struct *vm_ops的三个重要函数fault和map_pages,page_mkwrite

struct vm_operations_struct {

 /*从page cache或者伙伴系统分配页面,进行文件预读(readahead),并填充页面内容 */
    int (*fault)(struct vm_area_struct *vma, struct vm_fault *vmf);                        

 /*从page cache获取页面,并建立页表映射 */
    void (*map_pages)(struct vm_area_struct *vma, struct vm_fault *vmf);

    /* notification that a previously read-only page is about to become
     * writable, if an error is returned it will cause a SIGBUS */

 /* 标记页面可写,并回写页面内容到磁盘*/
    int (*page_mkwrite)(struct vm_area_struct *vma, struct vm_fault *vmf);
}

   文件映射的缺页异常处理,基本就是调用这三个函数,进程页面分配和文件预读,页表映射.

static int do_read_fault(struct mm_struct *mm, struct vm_area_struct *vma,
		unsigned long address, pmd_t *pmd,
		pgoff_t pgoff, unsigned int flags, pte_t orig_pte)
{
	
	if (vma->vm_ops->map_pages && fault_around_bytes >> PAGE_SHIFT > 1) {
		pte = pte_offset_map_lock(mm, pmd, address, &ptl);
		/*do_fault_around函数会预先映射缺页页面周围的16页面,这样可以减少缺页中断次数 */
                do_fault_around(vma, address, pte, pgoff, flags);
		if (!pte_same(*pte, orig_pte))
			goto unlock_out;
		pte_unmap_unlock(pte, ptl);
	}
        /*do_fault函数主要调用文件系统对应的fault函数,从page cache分配页面(如果page cache没有页面缓存,则从伙伴系统分配),从文件预读,并填充页面 */
	ret = __do_fault(vma, address, pgoff, flags, NULL, &fault_page);
	if (unlikely(ret & (VM_FAULT_ERROR | VM_FAULT_NOPAGE | VM_FAULT_RETRY)))
		return ret;
	/*建立页表 */
	pte = pte_offset_map_lock(mm, pmd, address, &ptl);
	do_set_pte(vma, address, fault_page, pte, false, false);
	return ret;
}

5.2.2 写时复制缺页处理(加载动态库)

  处理函数do_cow_fault主要分配new page,并从old page复制内容到new page,并且会调用__do_fault进行文件预读.

5.2.3 共享文件缺页处理(进程间通信)

 处理函数do_shared_fault主要调用__do_fault函数预读文件,并回写内容到磁盘

5.3 交换缺页异常

   内存页面被换出到磁盘,处理函数do_swap_page把页面内容从磁盘换回内存.

5.4 写时复制缺页(fork)

 这里的写时复制缺页异常,主要用于处理子父进程(fork)的缺页.与文件的写时复制缺页处理和应用场景不一样。函数do_wp_page处理这种异常. 

 

     

 

 

【R语言实例】物种分布模型介绍 SDM介绍 阅读详情

相关推荐

WGS-84 ECEF ENU 坐标系学习记录

地球坐标系固定在地球上而随地球一起在空间做公转和自转运动,因此地球上任一固定点在地球坐标系的坐标就不会由于地球旋转而变化。地心地固直角坐标系和大地坐标系都属于这种坐标系。 一、 几种坐标系 地心地固直角坐标系(ECEF)坐标系 其原点为地球的质心,x轴延伸通过本初子午线(0度经度)和赤道(0deglatitude)的交点。 z轴延伸通过的北极(即,与地球旋转轴重合)。 y轴完成右手坐标系,穿...

YYshuangshuang的博客 1万+

使用mysqlbinlog提取出指定表指定时间的操作

1.首先将binlog文件导出指定时间段的内容: mysqlbinlog --start-datetime='2017-09-10 00:00:00' --stop...

一个有趣、有料、有内涵的地方! 1338

从零到一:AVL Cruise与Matlab联合仿真DLL配置的避坑指南

本文详细介绍了AVL Cruise与Matlab联合仿真DLL配置的全流程,包括编译器选择、环境变量设置、DLL编译与模型导出等关键步骤。针对常见问题如版本匹配、路径错误等提供了实用解决方案,帮助工程师高效实现控制策略与整车性能仿真的无缝对接。

weixin_29054399的博客 568

mmap函数_内存管理(24)mmap和缺页中断

相关文件:mm/mlock.cmm/util.cmm/mmap.cinclude/linux/slab.hmmap系统调用陷入内核中会调用vm_mmap_pgoff=>do_mmap_pgoff函数来真正完成mmap操作1.1.do_mmap_pgoff函数(关键部分代码)do_mmap_pgoff16行:对需要映射的内存长度页对齐20行:get_unmapped_area返回需要映射的地址...

weixin_39622643的博客 1021

PHP 对接建行生活订单推送接口

php对接建行订单推送

qq_43647026的博客 562

2025.05.30【转录组】|Ribo-seq数据流程详解(一 质量控制)

本文详细介绍了Ribo-seq数据的质控分析流程,重点讲解了使用fastp进行原始数据质控的关键步骤和参数设置。作者通过Snakemake自动化流程示例,展示了如何去除接头序列、过滤低质量reads、生成质控报告等操作。文章强调高质量的Ribo-seq数据对转录后调控和翻译动态研究的重要性,并提供了兼顾数据质量和下游分析需求的参数配置建议。该流程有助于研究人员规范高效地完成Ribo-seq数据质控,为后续分析提供可靠数据基础。

787

linux内存映射原理,Linux内存管理实践-使用fault()实现内存映射

内核态与用户态进行数据交互通常是这样一种模型:内核利用自身的特权通过特定的服务程序采集、接收和处理数据;接着,用户态程序和内核服务程序进行数据交互,或接收内核态的数据,或向内核态写入数据。通过传统的那些对文件操作的系统调用就可以完成这样的工作,但是我们有时候需要通过访问用户空间的内存来直接读取内核数据,因为这样可以免去数据在内核态与用户态之间拷贝所花费的时间。本文基于以上背景,以Linux字符设备...

weixin_39906192的博客 559

从“能跑”到“好用”:一名 Python 开发者的工程化进阶之路【Python心得篇】

Python 早已不只是写脚本、跑数据的工具。后端服务AI Agent 编排层自动化平台核心语言数据与业务之间的“中枢层”区别只在于:你是用脚本方式,还是工程方式在写。如果你已经能写“能跑的 Python”,下一步,就是让它长期可跑、稳定可演进。Python 的真正价值不在于“写得快”,而在于能否支撑持续演进的工程实践。当代码从一次性脚本走向长期运行的系统,开发者必须从结构设计、职责拆分、性能意识和类型约束等方面进行系统性思考。

博客 1548

【Linux 内核 内存管理】内存映射相关数据结构 ② ( vm_area_struct 结构体成员分析 | vm_mm 成员 | vm_page_prot 成员 | vm_flags 成员 )

一、vm_area_struct 结构体成员分析、 1、vm_mm 成员、 2、vm_page_prot 成员、 3、vm_flags 成员、 二、vm_area_struct 结构体完整源码、

让 学习 成为一种 习惯 ( 韩曙亮 の 技术博客 ) 4518

在 SAP Fiori 中正确配置 Group 角色:从 PFCG 分配到首页呈现的完整链路

摘要:SAP Fiori项目中,用户登录后能否看到应用往往取决于角色配置而非前端开发。关键在于通过PFCG角色将launchpad designer中创建的tile group关联到用户角色。Catalog是应用池,group是用户首页可见的工作区。正确配置后,用户会看到角色对应的默认分组,同时保留个性化调整能力。项目实施中常见问题是应用开发完成但未正确配置group与角色关联,导致业务用户无法在首页看到应用入口。(150字)

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 169

STM实战开发(13):STM32开发:使用光敏电阻检测光照强度

光敏电阻(LDR)是一种电阻值受光照强度影响的半导体材料。当光照强度增大时,光敏电阻的电阻值降低;而当光照强度减小时,电阻值则增大。光敏电阻的电阻变化与入射光的强度之间并不是线性关系,而是呈对数型的变化。LDR通常由硫化镉(CdS)或其他半导体材料构成,材料对不同波长的光有不同的响应特性。一般而言,光照强度越强,光敏电阻的电阻值越低,反之则越高。本文介绍了如何使用STM32与光敏电阻(LDR)结合,进行光照强度检测的实现方法。通过配置STM32的ADC模块,读取光敏电阻的电压信号,并根据电压计算光照强度。

2201_76125393的博客 3021

Linux内核学习笔记 -20 动手实践linux内存映射基础 - 中(驱动程序源码分析)

进入源码,看内存映射具体的实现过程。驱动程序源码map_driver.c 驱动程序大概有三部分组成,1-模块的装载卸载; 2-file_operations结构体和mmap函数;3-vm_operations_struct结构体和fault函数。首先是模块的装载函数,它所要完成的工作是两个,设备的注册,在内核中为设备申请一块内存。 设备的注册由register_chrdev这个函数来实现,这里需要指定设备的主设备号MAP_DEV_MAJOR, 设备的名称MAP_DEV_NAME, 还有它所链接的fil.

我思故我在! 545

【汇编实战开发笔记】一段汇编代码如何“反编译”成C代码?

介绍了一种由汇编代码得到C代码的方法

一个专注于嵌入式IoT领域的架构师,深耕IoT领域多年,深度掌握IoT领域的相关技术栈,包括但不限于RTOS内核的实现及其移植、硬件驱动移植开发、网络通讯协议开发、编译构建原理及其实现、底层汇编及编译原理、编译优化及代码重构、嵌入式IoT系统的架构设计等。 1万+

Linux内存管理——缺页异常处理

缺页异常是指CPU访问的虚拟地址时, MMU没有办法找到对应的物理地址映射关系,或者与该物理页的访问权不一致而发生的异常。CPU通过地址总线可以访问连接在地址总线上的所有外设,包括物理内存、IO设备等等,但从CPU发出的访问地址并非是这些外设在地址总线上的物理地址,而是一个虚拟地址,由MMU将虚拟地址转换成物理地址再从地址总线上发出,MMU上的这种虚拟地址和物理地址的转换关系是需要创建的,并且还需要设置这个物理页的访问权限。

u012336798的博客 3069

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

Linux 内核缺页异常处理

参考:

osnet的博客 420

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

linux缺页异常处理--内核空间

缺页异常被触发通常有两种情况—— 1.程序设计的不当导致访问了非法的地址 2.访问的地址是合法的,但是该地址还未分配物理页框 下面解释一下第二种情况,这是虚拟内存管理的一个特性。尽管每个进程独立拥有3GB的可访问地址空间,但是这些资源都是内核开出的空头支票,也就是说进程手握着和自己相关的一个个虚拟内存区域(vma),但是这些虚拟内存区域并不会在创建的时候就和物理页框挂钩,由于程序的局部性原理

vanbreaker的专栏 1万+

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

Linux 系统内存地址映射(四):Linux 内核缺页异常处理机制源码分析

在前面的文章中,我们从理论层面深入探讨了 Linux 系统虚拟地址映射的基本原理和内核数据结构。本文将聚焦于内核源码,详细解析缺页异常处理的核心逻辑 ——do_page_fault()函数。通过分析这一关键函数,我们将揭示 Linux 内核如何处理内存访问缺失的情况,以及如何动态建立虚拟地址到物理地址的映射关系。

2301_76564925的博客 1312

Linux缺页异常处理 3个步骤,linux缺页异常处理--内核空间

缺页异常被触发通常有两种情况——1.程序设计的不当导致访问了非法的地址2.访问的地址是合法的,但是该地址还未分配物理页框下面解释一下第二种情况,这是虚拟内存管理的一个特性。尽管每个进程独立拥有3GB的可访问地址空间,但是这些资源都是内核开出的空头支票,也就是说进程手握着和自己相关的一个个虚拟内存区域(vma),但是这些虚拟内存区域并不会在创建的时候就和物理页框挂钩,由于程序的局部性原理,程序在一定...

weixin_34375356的博客 728

解决linux内存缺页问题,linux内存管理--缺页异常处理

3.1do_page_fault()fastcallvoiddo_page_fault(structpt_regs*regs,unsignedlongerror_code){structtask_struct*tsk;structmm_struct*mm;structvm_area_struct*vma;unsignedlongaddress;unsignedlongpage;...

weixin_31837611的博客 952

Linux缺页异常处理 3个步骤,linux缺页异常处理--内核空间【转】

缺页异常被触发通常有两种情况——1.程序设计的不当导致访问了非法的地址2.访问的地址是合法的,但是该地址还未分配物理页框下面解释一下第二种情况,这是虚拟内存管理的一个特性。尽管每个进程独立拥有3GB的可访问地址空间,但是这些资源都是内核开出的空头支票,也就是说进程手握着和自己相关的一个个虚拟内存区域(vma),但是这些虚拟内存区域并不会在创建的时候就和物理页框挂钩,由于程序的局部性原理,程序在一定...

weixin_28764661的博客 1167

Linux内存管理:(四)缺页异常处理

文章说明:Linux内核版本:5.0架构:ARM64参考资料及图片来源:《奔跑吧Linux内核》

qq_58538265的博客 2794

linux内存管理--缺页异常处理

1 缺页异常在linux内核处理中占有非常重要的位置,很多linux特性,如写时复制,页框延迟分配,内存回收中的磁盘和内存交换,都需要借助缺页异常来进行,缺页异常处理程序主要处理以下四种情形: 1请求调页: 当进程调用malloc()之类的函数调用时,并未实际上分配物理内存,而是仅仅分配了一段线性地址空间,在实际访问该页框时才实际去分配物理页框,这样可以节省物理内存的开销,还有一种情况是在内存

天涯路的专栏 1499

Linux vmalloc缺页异常处理_vmalloc_fault

vmalloc进行不连续的虚拟地址空间分配会打乱内核的页表。内核在更新非连续内存区对应的页表项时时懒惰的。vmalloc只把自己限制在更新内核页表:即页全局目录init_mm.pgd(swapper_pg_dir)和它的子页表。Linux 内核页表管理以下讨论不考虑页表隔离的情况下。

2401_86023828的博客 877

Linux内核缺页异常处理深度解析

硬件协作:CPU提供CR2寄存器和错误码异常入口:通过IDT和idtentry机制捕获异常上下文切换:从用户态切换到内核态权限检查:多级安全检查确保系统安全内存管理:多级页表遍历和页面分配性能优化:快速路径、锁优化和预取策略整个处理流程体现了Linux内核在安全性、稳定性和性能之间的精细平衡。通过深入理解缺页异常处理机制,我们可以更好地理解虚拟内存管理的核心原理,并为系统调优和问题诊断提供坚实的基础。##源码/***//**/.endifREACHABLE.endm/***/

u014200244的专栏 1055

linux缺页异常处理3个步骤,用户空间缺页异常处理分析——上

前面简单的分析了内核处理用户空间缺页异常的流程,进入到了handle_mm_fault()函数,该函数为触发缺页异常的地址address分配各级的页目录,也就是说现在已经拥有了一个和address配对的pte了,但是这个pte如何去映射物理页框,内核又得根据pte的状态进行分类和判断,而这个过程又会牵扯出一些其他的概念……这也是初读linux内核源码的最大障碍吧,在一些复杂的处理中,一个点往往可以...

weixin_29313423的博客 722
上一篇: Linux mmap原理
下一篇: Linux内核fork实现分析
Robin.Yin
博客等级 码龄16年 139粉丝 98原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值