检查点

容错机制 (检查点 Checkpoint) 这种方式可以减少检查点的大小和存储需求,同时也可以减少恢复时间,因为只需要恢复最新的状态数据而不是整个系统的状态。这种状态是与应用中特定的键值关联的,因此不同的键值会有各自的状态。由于我们只在所有任务处理完同一个输入数据时进行状态保存,因此不需要存储与处理过程无关的其他信息,这有助于减少存储空间的占用,并提高检查点的生成速度。通过这种异步分界线快照算法,Flink 可以在不暂停流处理的情况下,有效地处理多个分区之间的分界线传递,并确保每个任务都能正确地识别触发检查点保存的数据。 阅读详情

检查点

 
检查点种类包含四种,分别为MMDB的检查点、非失真检查点、失真检查点和日志驱动检查点。
中文名
检查点
外文名
Check point

检查方式

软件开发的项目中,在规定的时间间隔内对项目进行检查,比较实际与计划之间的差异,并根据差异进行调整,一般每周一到二次。

数据库恢复技术中定义

具有检查点的恢复技术:在日志文件中增加一类新的记录--检查点记录(checkpoint),增加一个重新开始文件,并让恢复子系统在登录日志文件期间动态地维护日志。
这样做的原因: 一、 利用日志技术进行数据库恢复时,需要检查所有日志记录。存在两个问题:
一是搜索整个日志将耗费大量的时间。
二是需要REDO处理很多已经将操作结果写到数据库中的操作,浪费了大量时间。
二、检查点记录的内容包括:
1.建立检查点时刻所有正在执行的事务清单。
2.这些事务最近一个日志记录的地址。
三、在检查点维护日志文件
1. 将当前日志缓冲区中的所有日志记录写入磁盘的日志文件上。
2. 在日志文件中写入一个检查点记录。
3. 将当前数据缓冲区的所有数据记录写入磁盘的数据库中。
4. 把检查点记录在日志文件中的地址写入一个重新开始文件。

MMDB的检查点(Checkointing)

[1]   快速的恢复高度依赖于最近检查点(Pu一to一daet)的存在。检查点减少了在MMDB崩溃后系统重启时所要做的恢复工作量。另一方面,检查点也影响着数据库的处理性能一一尤其是在大容量内存环境下。总不希望在检查点在执行的时候,暂停其他事务的执行。检查点算法需要精心地设计,使得它即对事务的正常处理影响很小,又要在系统崩溃的时候能够有效地恢复系统。MMDB系统的检查点与DRDB系统的检查点不同。DRDB的检查点的设计思想是在一个时间点上,让未提交的事务和己提交的事务保证其日志记录都被回写到磁盘上。而MMDB的检查点的设计思想是在一个时间点上,将内存中的整个数据库或者部分数据库的数据回写到磁盘上,或者以其他的方式,形成在这个时间点上对数据库数据的一个镜象备份。在MMDB的检查点技术可以分为三类:非失真检查点(No一Fuzzzy eheckpointing)、失真检查点(FuzzyCheekpointing)和日志驱动检查点(Log一DrivenCheckpointing)。

非失真检查点(No一fuzzy Checkpointing)

[1]   非失真检查点的策略通常都会给事务的处理带来额外的开销;〕这些开销主要来自非失真检查点策略需要为被检查的数据对象加锁来保持事务的一致性。可以用多种不同的策略可以选择。

失真检查点(Fuzzy Checkpointing)

[1]   MMDB中的失真检查点F(uzyzChecPkointnig)策略是指检查点程序在对数据做操作时,不需要对数据对象上锁。检查点程序和其他事务并发执行,检查点程序每次只将数据库的一部分脏数据页回写到磁盘上。检查点程序通过向系统日志中写入日志记录,来和其他事务保持同步。

日志驱动检查点(Log一DrivenCheckpointing)

[1]   在失真检查点和非失真检查点中需要将内存数据库整个或者部分地复制到磁盘上,而日志驱动检查点则是在前一次检查点所产生的数据库镜象的基础上,根据日志更新该镜象,产生新的镜象。这种检查点策略能够适用于将数据库镜象备份到远程主机上。因为日志的数据量小于数据库的大小,更加利于网络传输。每次做检查点时,将日志传送给远程主机,然后在远程主机上根据日志回放更新动作,产生出新的数据镜象。但是,这种策略也有缺陷,如果MMDB在事务吞吐量很大的情况下,会产生出大量的日志记录。这些日志将频繁地驱动检查点程序更新位于磁盘上的备份数据镜象,牵涉到大量的磁盘1/0操作,因而会严重降低检查点程序的效率。如果在事务吞吐量很大的情况下,能够控制住日志产生的数量,日志驱动检查点仍是一种不错的检查点策略。本章后半部分所提出的“恢复模型”,其中的检查点策略就属于日志驱动检查点。
【数据库管理】⑧检查点checkpoint 阅读详情

相关推荐

Flink检查点问题

Flink检查点问题问题简介扫盲什么是检查点如何配置检查点路径如何启用检查点如何使用检查点解决思路小结 问题简介 Cannot find meta data file '_metadata' in directory 'hdfs://nn-HA-service/flink/flink-checkpoints' 上面是本人实际工作中遇到的一个问题,于是便百度了一下问题,查无结果,可能是很低级的错误...

刘大叔的博客 4095

MySQL(InnoDB剖析):06---Checkpoint(检查点)技术

一、前言 前面一篇文章已经讲到(https://blog.youkuaiyun.com/qq_41453285/article/details/104083744),缓冲池的设计目的为了协调CPU速度与磁盘速度的鸿沟。因此页的操作首先都是在缓冲池中完成的。如果一条DML语句,如Update或Delete改变了页中的记录,那么此时页是脏的。即缓冲池中的页的版本要比磁盘的新。数据库需要将新版本的页从缓冲池刷新到......

董哥的黑板报 5089

什么是增量检查点?

最近对增量检查点和全局检查点有些疑惑,查看了很多的资料感觉都写得非常复杂不容易理解。下面贴出一些自己的心得,如果有错误的地方希望得到指正。                                      1,什么是检查点    检查点是数据库事件,它是指当前数据库dbwr进程将脏块从db buffer写到数据文件的进度,减少实例崩溃后,实例恢复的时间,是实例恢复的起点。 2,检查

u012954897的专栏 1425

检查点checkpoint

Oracle数据中有一个概念叫“检查点”,很不容易理解。 检查点不是一个点,而是一个事件。这个事件的发生只有一个作用:让数据文件变“新”,或者说数据文件离数据库的状态不那么远,反正不太容易描述清楚。 检查点事件的目的是让实例恢复的时间变短(妈哟,这个更不好描述)。 检查点这个事件的实际动作就是:将data buffer cache中的“脏数据”写至数据文件(数据文件或者撤销文件)。 将脏数

Qiuht的技术博客 4095

检查点技术介绍

介绍检查点技术以及检查点技术的改进。大多数关系型数据库都采用"在提交时并不强迫针对数据块的修改完成"而是"提交时保证修改记录(以重做日志的形式)写入日志文件"的机制,来获得性能的优势。即:当用户提交事务,写数据文件是"异步"的,写日志文件是"同步"的。 这就可能导致数据库实例崩溃时,内存中的DB_Buffer 中的修改过的数据,可能没有写入到数据块中。数据库在重新打开时,需要进行恢复,来恢复DB Buffer 中的数据状态,并确保已经提交的数据被写入到数据块中。 检查点是这个过程中的重要机制,通过它来确定,恢复时哪些重做日志应该被扫描并应用于恢复。

Delta并联机械手-Codesys实现以及正解逆解研究

由于Codesys的Robotics模块有Delta并联机械手的运动模型,因此借助Codesys的机械手运动模型,研究自己的正解逆解算法。

weixin_42386991的博客 5567

Checkpoint技术

  缓冲池   先来说说缓冲池,缓冲池的设计目的是为了协调CPU速度和硬盘速度的鸿沟的。因此页的操作首先都是在缓冲池中完成的。如果一条DML语句,如Update或Delete改变了页中的记录,这是缓冲池中的数据和磁盘中存放的数据是不一样的,那么此时页时脏的。数据库需要把最新的数据从缓冲池刷新到磁盘中。      如果每次页发生变化,就把新版本的页刷新到磁盘,那么这个过程开销是非常大的。若热点数据非常集中,那数据库的性能将会大大降低。同时,如果在从缓冲池将页的新版本刷新到磁盘时发生了宕机,那么数据就不能恢复了

秃头计划——启动! 421

内存|内存的概念、内存的作用、内存的物理结构及内存使用

内存是硬件,是用于存放数据的硬件。程序执行前需要先放到内存中才能被CPU处理。内存是与CPU沟通的桥梁,计算机中所有程序的运行都要依靠内存,内存对计算机的影响非常大。本文简单介绍了内存的概念、作用、物理结构以及使用,内存远不止如此,后续文章会逐步深入讲解。

qq_59938293的博客 2万+

QTP检查点详解

在录制会话过程中或在编辑测试或组件时添加检查点。在录制了初始测试或组件之后,通常可以更为方便地定义检查。有几种方法可以添加检查点。   在录制或编辑时添加检查点   ◆ 使用“插入”菜单上的命令,或者单击“测试”工具栏上的“插入检查点”按钮旁边的箭头。这将显示与关键字视图的选定步骤相关的检查点选项的菜单。   只在编辑时添加检查点   ◆ 右键单击关键字...

weixin_33970449的博客 2759

华大HC32F460 TCP Server实验

华大HC32F460 TCP Server实验

ZhuoWuKeJi的博客 1273

Ollama+FAISS+Embedding+Rerank+LLM 详细部署指南

下载安装Ollama 双击运行安装程序 安装完成后会自动启动服务 修改默认安装路径(避免C盘爆满) 或使用PowerShell: 验证安装 Linux系统部署: (二)准备模型 1. 拉取Embedding模型 2. 拉取LLM模型 注意:原文中提到的可能需要从自定义仓库拉取: 3. 下载Rerank模型 (三)安装依赖库 创建项目目录和虚拟环境: 二、主要功能实现 项目结构 (一)配置文件(config/config.yaml) (二)文本分块策略实现 创建 : (三)文档读取

AI技术改变世界 1589

Flink CheckPoint检查点详解:检查点的保存、从检查点恢复状态、检查点算法

随时存档”确实恢复起来方便,可是需要我们不停地做存档操作。如果每处理一条数据就进行检查点的保存,当大量数据同时到来时,就会耗费很多资源来频繁做检查点,数据处理的速度就会受到影响。所以在Flink中,检查点的保存是周期性触发的,间隔时间可以进行设置。

学亮编程手记 1001

Windows下玩转DeepSeek-R1:Ollama+Docker配置RAGFlow的3种网络调试方案

本文详细介绍了在Windows环境下使用Ollama和Docker配置RAGFlow的三种网络调试方案,帮助开发者解决本地部署AI知识库系统时的网络隔离问题。通过host.docker.internal直连、自定义Docker网桥网络和端口映射与反向代理三种方法,实现DeepSeek-R1模型与RAGFlow的高效通信,提升本地AI应用的开发效率。

weixin_28347369的博客 247

Spark Streaming 检查点,何时启用检查点,如何配置检查点

Spark Streaming编程指南 手册 检查点   流应用程序必须全天候运行,因此必须能够适应与应用程序逻辑无关的故障(例如,系统故障,JVM崩溃等)。为了实现这一点,Spark Streaming需要将足够的信息检查到容错存储系统,以便它可以从故障中恢复。检查点有两种类型的数据。 元数据检查点 - 将定义流式计算的信息保存到容错存储(如HDFS)。这用于从运行流应用程序的驱动程序的节点...

xm_QUQ的博客 1276

linux 内核OOM问题定位-SLAB_DEBUG

首先看slabinfo按的size排序查看 slub object,可以查看 space 总占用大小,及objects个数判断泄漏点 为kmalloc-128。那个泄露多看/sys/kernel/debug的slab/kmalloc*-的alloc-traces和free-traces。SLAB或者SLUB有一个用就可以,改menuconfig没有clean会覆盖之前的更改,现在看一下编译的过程。或者配置defconfig,配置完之后需要clean后再编译。1,配置menuconfig。

陌上花开缓缓归以的博客 900

【数据集】2019年中国1km格网河网密度数据集

中国1km格网河网密度数据集

WW、forever的博客 1347

ORACLE的完全检查点和增量检查点

讨论增量检查点和完全检查点概念

荒川之神 1401

使用Google Earth Engine(GEE)的Python API,您可以将经纬度坐标转换为Landsat影像的路径/行号

使用Google Earth Engine(GEE)的Python API,您可以将经纬度坐标转换为Landsat影像的路径/行号。在这个示例中,我们选择了一个位于加利福尼亚州旧金山市附近的点,其经度为-122.084,纬度为37.421998。首先,我们需要导入必要的库和模块。接下来,我们定义一个函数,该函数将接收经度和纬度作为输入,并返回对应的Landsat路径/行号。最后,我们提取路径和行号的值,并将它们作为结果返回。现在,我们可以使用这个函数来获取特定点的Landsat路径/行号。

VwajAlgorithm的博客 351

Hyper-V 2016中的标准检查点和生产检查点

Hyper-V 2016中的标准检查点和生产检查点 2017年1月24日由埃里克Siron12 检查点是几乎所有虚拟机管理程序中发现的最古老的功能之一。尽管它无处不在,但这项技术还是有很多困惑。它是什么?什么时候合适?在哪里不应该使用它?为什么这么多人说不使用它?Hyper-V的2016年发行版通过添加一种新型的检查点(奇怪地称为“生产检查点”)使情况更加混乱,即使它们不比“标准”检查...

allway2的博客 4391

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

(二)检查点

一、为什么要插入检查点/检查点的作用 检查点记录被测系统的预期结果,在运行过程中,QTP将预期结果与实际运行结果进行比较,若一致,测试结果报告中,检查点为passed,否则为failed。 只有插入检查点的代码,才具有测试能力,检查功能点是否实现 二、标准检查点–Standard CheckPoint :检查被测对象的属性值 1、插入标准检查点的操作步骤: a.确定被测的对象 b.确定...

FixedStar 的博客 4533

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

使用Hyper-V检查点

虚拟机检查点允许您捕获正在运行的虚拟机的状态,数据和硬件配置,以前称为虚拟机快照。在本文中,我们将讨论检查点,Hyper-V中可用的检查点类型以及如何使用检查点。 在Windows Server 2012 R2之前,没有检查点,它以前是虚拟机快照。从Windows Server 2012 R2开始,在Hyper-V管理器中将快照重命名为虚拟机检查点,以匹配System Center Vir...

allway2的博客 1万+

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

loadrunner插入检查点详解

LR检查点   设置检查点的目的不只是为了验证我们的脚本没有错误,而更重要的是一个规范问题,如何使得测试结果更具有说服力,因此建议所有的测试脚本中都添加检查点设置。   推荐最好在录制过程中添加Text/Image检查点    一、设置检查点的方法 1.将脚本切换到树结构,在page view页面上找到你要check的文本内容, 并执行鼠标右键,选择Add a text check.

天中三少博客园 1万+

检查点与增量检查点

重要概念: DML和DDL语句都会产生两种不同类型的数据: 1、重做记录,保证数据库具有可恢复性。 2、被修改的数据块本身(包括撤销数据和真正想修改的数据),其目的是确保数据库的持久性。 这两类数据的临时存储地点和永久存储地点均不相同。            重做记录和被修改的数据块(我们称为脏数据块)走的是两条不同的道路,且是有一定的先后顺序的联系的。            重做

bbhy135258的专栏 1196

qtp检查点

qtp检查点 1.标准检查点(Standard Checkpoint)检查对象的属性,如可以检查某个按钮的是否被选取; 2.页面检查点(Page Checkpoint) 检查网页的特性,如可以检查加载页面所需的时间,或者检查网页是否包含损坏的链接; 3.图片检查点(Image Checkpoint)检查应用程序或网页中的图像的值,如可以检查所选图像的源文文件是否正确;

妍大宝 要努力工作 2218

hyper-V 检查点

检查点 检查点功能使得管理员能够对虚拟机创建快照。Hyper-V检查点,在之前的Hyper-V检查点版本里称之为快照功能。 检查点程序主要和Hyper-V检查点分区的两条处理进程相关,Virtual Machine Worker进程(VMWP.exe)以及Virtual Machine Management服务进程(VMMS.exe)。 VMMS.exe进程进行快照...

bcbobo21cn的专栏 3505
上一篇: 自动化测试
下一篇: 常用的9种自动化测试工具
Wang_ChunLi
博客等级 码龄11年 2粉丝 2原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值