erlang mnesia 数据库备份与还原机制

本文详细介绍了Erlang Mnesia数据库的备份与恢复机制,包括如何进行备份、回滚及安装回滚等操作,并深入探讨了检查点的概念及其在备份过程中的作用。

我的个人博客网站云诺说上线啦!所有文章都搬到新地址了,点击围观吧!

数据库在使用当中都会有数据库备份工作,当数据库发生严重错误无法启动,或者数据丢失时可以及时有效地恢复数据。文章首先介绍如何备份和还原ErlangMnesia数据库,然后从备份、回滚两大方面深入探讨mnesia的备份机制。

备份数据库

在Mnesia启动后,可以使用mnesia:backup()备份,函数原型:

 

mnesia:backup(Opaque [, BackupMod]) -> ok | {error,Reason}
#调用前,确保mnesia正常运行,保存目录存在
mnesia:backup("d:/backup.log").

 

在mnesia启动后,可以使用mnesia:restore()恢复,函数原型:

 

mnesia:restore(Opaque, Args) -> {atomic, RestoredTabs}|{aborted, Reason}

恢复过程相关的所有表将写锁,可在mnesia不用重启的情况下恢复数据

 

 

# 调用前,确保mnesia正常运行
mnesia:restore("d:/backup.log", []).

 

好了,如果只是了解如何备份和还原mnesia数据库,到这里就结束了。

如果为了更加深入了解mnesia的备份机制,那就继续往下看。

备份与回滚

下列函数用于备份数据、安装备份作为回滚:

# 执行一个包含在检查点中的表备份
mnesia:backup_checkpoint(Name, Opaque [, BackupMod])
 
# 激活一个覆盖全部 Mnesia 表的新检查点并且执行一次备份(备份以最大冗余度执行)
mnesia:backup(Opaque [, BackupMod])
 
# 备份转储,从一个现存的备份创建一个新的备份。可以在不同介质之间复制备份。
mnesia:traverse_backup(Source,[SourceMod,]Target,[TargetMod,]Fun,Ac)
 
# 从一个现存的备份恢复表
mnesia:restore(Opaque, Args)
 
# 安装回滚,从一个现存的备份重启并且重新加载数据库表。
mnesia:install_fallback(Opaque, [Mod])
 
# 移除先前安装的回滚文件
mnesia:uninstall_fallback()

mnesia:backup()的备份过程的内部实现分为以下3步:

1、创建检查点:mnesia:activate_checkpoint/1
2、执行备份    :mnesia:backup_checkpoint/3
3、停用检查点:mnesia:deactivate_checkpoint/1

对比来说,mnesia:backup方式比较野蛮,执行最大冗余备份,也就是备份全部数据,包括所有副本(copy)。当数据量比较大时恢复过程比较久,如果只需要备份某些重要的表数据,可以使用自己创建检查点。

创建检查点

关于检查点的概念,erlang的解释如下:

A checkpoint is a consistent view of the system. A checkpointcan be activated on a set of tables. This checkpoint can then betraversed and will present a view of the system as it existed atthe time when the checkpoint was activated, even if the tables arebeing or have been manipulated.

大概意思是,检查点被用以维护系统视图一致性。检查点相当于一个系统镜像,在备份过程中,即使数据发生变化,也不会影响备份内容。

检查点使用mnesia:activate_checkpoint函数创建,erlang会启动所有节点的mnesia_checkpoint进程,由mnesia_checkpoint_sup进程监督。关于这部分内容可以参考mnesia_checkpoint:init/1

mnesia_checkpoint进程主要负责监视数据变化。主要行为有add_retainer、del_retainer、add_copy、del_copy、change_copy

函数原型:mnesia:activate_checkpoint(Args) -> {ok,Name,Nodes} |{error,Reason}

参数说明:

Args参数是由下列元组构成的一个列表:

参数项说明默认值
{name,Name}Name是检查点的名字,这个名字在关联的节点中必须是唯一的。当检查点被停用时,该名字可以重复使用。可以不用设置,系统会自动生成唯一的名字。{erlang:now(), erlang:node()}
{max,MaxTabs}MaxTabs是告诉erlang哪些表需要最大冗余备份,也就是所有副本也备份。默认值为[][]
{min,MinTabs}MinTabs是告诉erlang哪些表需要最小冗余备份,也就是只备份一个副本。建议是储存在本地节点的副本。默认值[][]
{allow_remote,Bool}Bool为false表示所有的连接保持器必须是本地的,如果涉及的表有不属于本地节点的,检查点就无法创建成功。Bool为true就是允许分配到任意节点。true
{ram_overrides_dump,Bool}仅适用于ram_copies。选择你要备份的模式,true表示当最近记录提交到RAM的时候就记录到检查点,false表示当记录转储到DAT文件时才记录到检查点。这里要注意了,RAM的记录是应用程序运行时的数据,而DAT的记录只是mnesia启动需要加载的记录。默认值falsefalse

 

执行备份

 

先看下erlang对于这块内容的解释:

The tables are backed up to external media using the backupmodule BackupMod. Tables with the local contents property is beingbacked up as they exist on the current node. BackupMod is thedefault backup callback module obtained bymnesia:system_info(backup_module).

大概意思是,执行备份时,erlang会备份本地表数据和表属性,还可以利用BackupMod参数将数据备份到其他存储介质。

函数原型:mnesia:backup_checkpoint(Name, Opaque [, BackupMod]) ->ok | {error,Reason}

参数说明:

Opaque参数:这参数是作为备份模块BackupMod的传入参数,在没有指定备份模块时,这个参数指的是本地文件名。

停用检查点:

简单的理解就是删了之前创建的检查点。

函数原型:mnesia:deactivate_checkpoint(Name) -> ok | {error,Reason}

这里有一点问题需要注意。检查点就算没有调用mnesia:deactivate_checkpoint/1,它也可能被停用。关于这个内容,这个功能,erlang的解释如下:

The checkpoint is automatically deactivated when some of thetables involved have no retainer attached to them. This may happenwhen nodes go down or when a replica is deleted.

大致意思是,当涉及到的任意一个表没有连接保持器(retainer)时,检查点会自动停用。节点挂了或者数据副本被删除也可能会导致检查点停用。

下面是一个手动备份的过程:

{ok, Name, _} = mnesia:activate_checkpoint( [ { max, [tb_message] } ] ).
{ok,{{1387,505130,66000},nonode@nohost},[nonode@nohost]}
mnesia:backup_checkpoint( Name, "d:/backup.log", [] ).
ok
 mnesia:deactivate_checkpoint( Name ).
ok

恢复数据

用于恢复之前备份过的数据,恢复过程相关的所有表将写锁,可在mnesia不用重启的情况下恢复数据

函数原型:

 

mnesia:restore(Opaque, Args) -> {atomic, RestoredTabs}|{aborted, Reason}

参数说明:

 

Opaque参数:这参数是作为备份模块BackupMod的传入参数,在没有指定备份模块时,这个参数指的是本地文件名。

Args参数是由下列元组构成的一个列表:

参数项说明
{module, BackupMod}BackupMod用于使用自定义的模块来处理恢复数据,忽略这个参数项则使用系统模块
{skip_tables, TabList}TabList告诉erlang哪些表不需要恢复
{clear_tables, TabList}TabList告诉erlang哪些表在恢复数据前要清除表中所有记录。注意了,这里不会删除表,只是恢复所有记录
{keep_tables, TabList}TabList告诉erlang哪些表在恢复数据前记录不会被清除,而备份中的记录将会新增到表中。注意了,这里不会删除表,只是新增所有记录
{recreate_tables, TabList}TabList告诉erlang哪些表在恢复数据前需要重新创建表。这些表将被删除然后重建。注意了,这里会删除表
{default_op, Operation}Operation参数值为skip_tables,clear_tables,keep_tables或recreate_tables。这个参数用于指定erlang恢复表的默认行为,也就是说那些在没指定恢复方式的表将以这种方式处理。如果这个参数没有设置,默认是clear_tables

回滚

首先要明确,什么是回滚,为什么要使用回滚,什么时候下要使用回滚?

还是先看下erlang对这块内容的解释:

This function is used to install a backup as fallback. Thefallback will be used to restore the database at the next start-up.Installation of fallbacks requires Erlang to be up and running onall the involved nodes, but it does not matter if Mnesia is runningor not. The installation of the fallback will fail if the localnode is not one of the disc resident nodes in the backup.

回滚用于在下一次系统启动时恢复数据库,也就是说安装回滚后系统不会立即恢复数据,而是等待mnesia重启后恢复数据。

为什么要使用回滚?前面一种恢复方式(restore)被作为一个单独事务执行,在恢复过程中相关的所有表写锁,如果数据库过于庞大,会影响其他程序运行,或无法成功恢复。在这种情况下,数据库必须通过安装一个回滚来恢复,然后重新启动。

使用回滚的另一种场合是当mnesia无法启动时,还可以使用回滚还恢复数据。在mnesia崩溃,也就是表结构损毁(schema)或者数据发生严重错误时,mnesia将无法启动,原来的恢复方式(restore)也无法使用。

回滚是一个分布式的操作,要么在所有数据库节点上执行,要么不执行。安装回滚要求 Erlang所有数据库相关节点都启动和运行,就算Mnesia进程没有运行也不受影响。

函数原型:

 

mnesia:install_fallback(Opaque, Args) -> ok |{error,Reason}

Opaque参数:这参数是作为备份模块BackupMod的传入参数,在没有指定备份模块时,这个参数指的是本地文件名。

 

Args参数是由下列元组构成的一个列表:

 

参数项说明
{module, BackupMod}BackupMod用于使用自定义的模块来处理恢复数据,忽略这个参数项则使用系统模块
{scope, Scope}Scope配置回滚的影响范围,既可以是全部数据库节点(global),也可以是一个本地节点(local)。默认是global。至于哪个节点是磁盘存储类型,由导入的备份文件确定。
{mnesia_dir, AlternateDir}当scope参数项为local有效。一般来说,回滚的安装都是以mnesia的默认目录为准。这里还可以通过配置AlternateDir来修改回滚的安装地址,回滚安装后这个目录就成了一个有效的mnesia目录。这个参数项是危险的,请谨慎使用,否则可能会导致数据库不一致

 

卸载回滚

还是给一个erlang解释的机会:

This function is used to de-install a fallback before it hasbeen used to restore the database. This is normally a distributedoperation that is either performed on all nodes with disc residentschema or none. Uninstallation of fallbacks requires Erlang to beup and running on all involved nodes, but it does not matter ifMnesia is running or not. Which nodes that are considered asdisc-resident nodes is determined from the schema info in the localfallback.

大概意思就是卸载回滚这个功能,用于在数据库已被恢复之前移除回滚。

卸载回滚也是一个分布式的操作,要么在所有数据库节点执行,要么不执行。安装回滚要求 Erlang所有数据库相关节点都启动和运行,就算Mnesia进程没有运行也不受影响。

函数原型:

 

mnesia:uninstall_fallback(Args) -> ok | {error,Reason}

Args参数含义可以参考回滚的Args参数介绍。

 

博文转摘:http://blog.sina.com.cn/s/blog_b3e618c20101p9rm.html

 

      祝生活愉快!!
 

 

 

 

 

 

标题SpringBoot智能在线预约挂号系统研究AI更换标题第1章引言介绍智能在线预约挂号系统的研究背景、意义、国内外研究现状及论文创新点。1.1研究背景意义阐述智能在线预约挂号系统对提升医疗服务效率的重要性。1.2国内外研究现状分析国内外智能在线预约挂号系统的研究应用情况。1.3研究方法及创新点概述本文采用的技术路线、研究方法及主要创新点。第2章相关理论总结智能在线预约挂号系统相关理论,包括系统架构、开发技术等。2.1系统架构设计理论介绍系统架构设计的基本原则和常用方法。2.2SpringBoot开发框架理论阐述SpringBoot框架的特点、优势及其在系统开发中的应用。2.3数据库设计管理理论介绍数据库设计原则、数据模型及数据库管理系统。2.4网络安全数据保护理论讨论网络安全威胁、数据保护技术及其在系统中的应用。第3章SpringBoot智能在线预约挂号系统设计详细介绍系统的设计方案,包括功能模块划分、数据库设计等。3.1系统功能模块设计划分系统功能模块,如用户管理、挂号管理、医生排班等。3.2数据库设计实现设计数据库表结构,确定字段类型、主键及外键关系。3.3用户界面设计设计用户友好的界面,提升用户体验。3.4系统安全设计阐述系统安全策略,包括用户认证、数据加密等。第4章系统实现测试介绍系统的实现过程,包括编码、测试及优化等。4.1系统编码实现采用SpringBoot框架进行系统编码实现。4.2系统测试方法介绍系统测试的方法、步骤及测试用例设计。4.3系统性能测试分析对系统进行性能测试,分析测试结果并提出优化建议。4.4系统优化改进根据测试结果对系统进行优化和改进,提升系统性能。第5章研究结果呈现系统实现后的效果,包括功能实现、性能提升等。5.1系统功能实现效果展示系统各功能模块的实现效果,如挂号成功界面等。5.2系统性能提升效果对比优化前后的系统性能
在金融行业中,对信用风险的判断是核心环节之一,其结果对构的信贷政策和风险控制策略有直接影响。本文将围绕如何借助器学习方法,尤其是Sklearn工具包,建立用于判断信用状况的预测系统。文中将涵盖逻辑回归、支持向量等常见方法,并通过实际操作流程进行说明。 一、器学习基本概念 器学习属于人工智能的子领域,其基本理念是通过数据自动学习规律,而非依赖人工设定规则。在信贷分析中,该技术可用于挖掘历史数据中的潜在规律,进而对未来的信用表现进行预测。 二、Sklearn工具包概述 Sklearn(Scikit-learn)是Python语言中广泛使用的器学习模块,提供多种数据处理和建模功能。它简化了数据清洗、特征提取、模型构建、验证优化等流程,是数据科学项目中的常用工具。 三、逻辑回归模型 逻辑回归是一种常用于分类任务的线性模型,特别适用于二类问题。在信用评估中,该模型可用于判断借款人是否可能违约。其通过逻辑函数将输出映射为0到1之间的概率值,从而表示违约的可能性。 四、支持向量模型 支持向量是一种用于监督学习的算法,适用于数据维度高、样本量小的情况。在信用分析中,该方法能够通过寻找最佳分割面,区分违约非违约客户。通过选用不同核函数,可应对复杂的非线性关系,提升预测精度。 五、数据预处理步骤 在建模前,需对原始数据进行清理转换,包括处理缺失值、识别异常点、标准化数值、筛选有效特征等。对于信用评分,常见的输入变量包括收入水平、负债比例、信用历史记录、职业稳定性等。预处理有助于减少噪声干扰,增强模型的适应性。 六、模型构建验证 借助Sklearn,可以将数据集划分为训练集和测试集,并通过交叉验证调整参数以提升模型性能。常用评估指标包括准确率、召回率、F1值以及AUC-ROC曲线。在处理不平衡数据时,更应关注模型的召回率特异性。 七、集成学习方法 为提升模型预测能力,可采用集成策略,如结合多个模型的预测结果。这有助于降低单一模型的偏差方差,增强整体预测的稳定性准确性。 综上,基于器学习的信用评估系统可通过Sklearn中的多种算法,结合合理的数据处理模型优化,实现对借款人信用状况的精准判断。在实际应用中,需持续调整模型以适应市场变化,保障预测结果的长期有效性。 资源来源于网络分享,仅用于学习交流使用,请勿用于商业,如有侵权请联系我删除!
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值