MySQL--mydumper备份和恢复原理

数据库备份的相关详解(mydumper) 数据库备份是将数据库中的数据和结构复制到另一个位置,以便在需要时可以恢复数据。MySQL自带了备份工具mysqldump,可以备份整个数据库或特定的表。除此之外,还有一些其他的备份工具,例如Percona XtraBackup和MySQL Enterprise Backup等。在执行任何数据库备份操作之前,请仔细考虑备份策略,并测试备份以确保其可用性和可恢复性。 阅读详情

目录

1.备份原理:

2.恢复原理:

3.备份过程:

4.恢复过程:


1.备份原理:

mydumper作为一个实用工具,能够良好支持多线程工作。在主线程中,它首先会对备份实例加读锁,通过FLUSH TABLES WITH READ LOCK命令来阻塞写操作,从而建立一致性数据备份快照。然后,它会读取当前时间点的二进制日志文件名和日志写入的位置,并将这些信息记录在metadata文件中,以供即时点恢复使用。接下来,mydumper会创建工作线程,初始化备份任务队列,并向队列中推送数据库元数据(schema)、非InnoDB表和InnoDB表的备份任务。工作线程会负责将备份任务队列中的任务按顺序取出并完成备份,这些备份文件会并行地写入到不同的文件中,从而提高处理速度。

2.恢复原理:

mydumper也支持多线程恢复。在恢复过程中,它会读取之前备份时生成的metadata文件,根据其中的信息来定位二进制日志文件及其位置。然后,mydumper会使用这些信息来执行恢复操作,将数据从备份文件中还原到数据库中。

下面举例说明mydumper的备份和恢复使用过程的细节:

3.备份过程:

  1. 使用命令行工具mydumper进行备份。例如,执行以下命令备份名为game的数据库到/backup/01文件夹:

     

    复制代码

    mydumper -u root -p -h localhost -B game -c -o /backup/01

    这里,-u指定用户名,-p表示需要输入密码,-h指定主机名,-B指定要备份的数据库名,-c表示压缩备份文件,-o指定输出目录。

  2. 输入密码后,mydumper会开始执行备份操作。它会按照上述备份原理中的步骤,对game数据库进行一致性备份,并将备份文件输出到/backup/01文件夹中。

4.恢复过程:

  1. 使用命令行工具进行恢复。首先,确保MySQL服务已经启动,并且目标数据库已经创建好。

  2. 执行恢复命令。例如,假设备份文件位于/backup/01文件夹中,可以使用以下命令恢复game数据库:

     

    复制代码

    myloader -u root -p -h localhost -D game -o /backup/01

    这里,-D指定要恢复的目标数据库名,-o指定备份文件所在的目录。

  3. 输入密码后,myloader会根据metadata文件中的信息,从备份文件中读取数据,并执行恢复操作,将数据还原到game数据库中。

需要注意的是,在实际使用过程中,还需要根据具体情况调整mydumper和myloader的参数和选项,以满足不同的备份和恢复需求。同时,也需要确保备份文件的完整性和安全性,以防止数据丢失或泄露。

mysql数据库备份还原-mydumper/myloader/loader 采用C语言开发,使用glibc库多线程备份,速度据说比mysqldump快10倍多线程恢复支持事务和非事务表的一致性备份(适用于0.2.2以上版本)备份后会生成多个备份文件(因为是多线程备份)备份时对MyISAM表施加FTWRL(FLUSH TABLES WITH READ LOCK),会阻塞DML语句支持快速文件压缩支持导出binlog(新版本已不支持)支持将备份文件切块支持以守护进程模式工作,定时快照和连续二进制日志。 阅读详情

相关推荐

05、必须掌握的备份和恢复技能

介绍mysqldump、mydumper、xtrabackup、clone plugin 的备份和恢复等详细介绍,以及具体使用细节

Timebro的博客 1139

mysql mydumper_MySQL备份mydumper的原理【转】

相对于MySQL官方提供的逻辑备份工具 mysqldump , mydumper最大的特点就是可以采用多线程并行备份,大大提高了数据导出的速度。这里对mydumper的工作原理做个分析,看一下mydumper如何巧妙的利用Innodb引擎提供的MVCC版本控制的功能,实现多线程并发获取一致性数据。这里一致性数据指的是在某个时间点,导出的数据与导出的Binlog文件信息相匹配,如果导出了多张表的数据...

weixin_33519829的博客 325

Mysql数据备份及数据恢复

binlog日志 1、binlog日志有两个作用:进行主从复制和进行数据恢复(定时全备份+binlog日志恢复增量数据部分)。利用binlog日志做增量数据进行恢复。 2、配置开启binlog日志: log-bin=mysql-bin ### binlog日志的名称 binlog_format=mixed ### 基于SQL语句的复制(statement-based replication, SBR),基于行的复制(row-based replication, RBR

dmguying的博客 486

【MySQL】Mydumper工作原理

⒈在理解Mydumper原理之前,我们先准备记录Mydumper的一些操作 ①set global general_log=1; ②set global log_output='table'; ③m...

cuiyandan4490的博客 339

第三阶段【MySQL数据库:备份和恢复】09:MySQL的备份和恢复

MySQL的备份和恢复

weixin_40612128的博客 220

mydumper-0.15.2安装包,mysql数据备份和恢复

mydumper-0.15.2安装包,mysql数据备份和恢复

MySQL 备份神器 mydumper:原理、实操与恢复全指南

在 MySQL 数据库运维中,备份是数据安全的核心保障。相较于传统的 mysqldump,mydumper 凭借多线程并发、文件易管理、数据一致性强等优势,成为中大型数据库备份的优选工具。本文将从核心特点、安装配置、备份 / 恢复实战、原理剖析四个维度,带你全面掌握 mydumper 的使用技巧

专注Java和MySQL领域知识分享 1861

Java 大视界 -- Java+Spark MLlib 构建智能推荐系统:协同过滤算法实战与优化(441)

Java+Spark MLlib构建智能推荐系统实战 本文详细介绍了基于Java和Spark MLlib构建协同过滤推荐系统的全流程实践方案。主要内容包括: 架构设计:采用离线批处理为主、近实时更新为辅的架构,包含数据采集层、处理层、模型层、推荐生成层、存储层和应用层六大模块,可支撑千万级用户推荐需求。 技术实现: 使用Spark MLlib的ALS算法进行协同过滤模型训练 提供数据清洗、模型训练、推荐生成等核心代码实现 采用MySQL存储推荐结果,支持批量插入和事务保障 生产级优化: 版本化模型存储规避覆

【青云交】华为云云享专家 | 阿里云开发者社区专家博主 技术圈个人影响力前 9 | 博客之星 TOP12 优快云 首位四榜(原力榜 / 作者周榜 / 领军人物 / 综合热榜)榜首,破平台纪录! 苏州地区全榜霸榜,感恩全网十多万粉丝同行! 2525

MySQL备份迁移之mydumper

简介 mydumper 是一款开源的 MySQL 逻辑备份工具,主要由 C 语言编写。与 MySQL 自带的 mysqldump 类似,但是 mydumper 更快更高效。 mydumper 的一些优点特性: 轻量级C语言开发 支持多线程备份数据,备份后按表生成多个备份文件 支持事务性和非事务性表一致性备份 支持将导出的文件压缩,节约空间 支持多线程恢复 支持已守护进程模式工作,定时快照和连续二进制日志 支持按指定大小将备份文件切割 数据与建表语句分离 下载安装 安装方式非常多,以下介绍几种常见的方式。

Max一直在学习 875

【深圳】IBM V3500存储维修 更换控制器故障

今天给大家分享的是深圳.福田区一个电商客户公司一台IBM Storwize v3500存储控制器故障从远程诊断 收集日志 分析结果的实际案例,如图所示通过存储管理口登陆进去后直接看到少了一个控制器,经过工程师分析日志后判定为该控制器损坏,接下来更换控制器配件,标准套件的控制器不带子卡和电池,所以需要把故障控制器上的子卡和电池拆下来装到新控制器上,这个电池拆还需要点技巧,接着把新的控制器插回V3500主机,等待大约十分钟后,新控制器指示灯全绿,管理界面看到节点已联机;冠峰科技-爱科技爱分享。

OuYangYuXi的博客 4576

从IMU数据到精准定位:手把手推导ESKF中的四元数运动学与误差状态方程

本文详细介绍了如何从IMU数据推导ESKF中的四元数运动学与误差状态方程,实现精准定位。通过分析误差状态卡尔曼滤波器的优势、四元数表示的必要性,以及IMU测量模型和运动学基础,提供了完整的数学推导和实现要点。适合机器人定位和自动驾驶领域的算法工程师参考,帮助优化导航系统性能。

weixin_30271335的博客 680

MySQL【使用篇】03:MySQL的备份和恢复

MySQL的备份和恢复

weixin_40612128的博客 1026

从ViT到Swin Transformer:一文搞懂Transformer在CV中的进化史(附实战代码)

本文系统梳理了Transformer在计算机视觉领域的演进历程,从开创性的Vision Transformer(ViT)引入全局注意力机制,到DETR实现端到端目标检测,再到里程碑式的Swin Transformer通过滑动窗口和层次化设计高效桥接CNN与ViT。文章深入剖析了各模型的核心思想、技术突破与实战应用,并提供了可运行的代码示例,帮助读者从理论到实践全面掌握这一关键技术脉络。

cola5的博客 713

Binlog, mysqldump, mydumper/myloader, xtrabackup

这份文档记录 binlog, mysqldump, mydumper/myloader 三大模块 binlog 包含了 binlog 的含义,应用场景,常用操作和内容几个模块。 mysqldump 包含了基于 mysqldump 和 binlog 的一次备份和恢复 mydumper/myloader 包含了 mydumper 的安装和两者的基本使用 这份文档我会一直维护,不断填充新东西进去。 文档中如有问题,或您有更好的学习建议,请评论或私戳我 - wayne 目录一、binlog1、binlog fo.

ShiShc 1852

BLDC&PMSM电机控制器硬件设计工程(三)控制器驱动芯片方案

在汽车电机控制系统中,栅极驱动IC扮演着至关重要的角色。它作为主控MCU与功率开关管(MOSFET/IGBT)之间的桥梁,将微弱的PWM信号放大为足以快速、可靠驱动功率管的强信号。本文将深入解析英飞凌、TI和NXP的车规级栅极驱动方案,重点关注半桥和单侧驱动IC。1)为什么需要栅极驱动器?栅极驱动器是低压控制器和高压电路之间的缓冲电路,用于放大控制器的控制信号,从而实现功率器件更有效的导通和关断。栅极驱动器的作用总结如下:1.将控制器的低压信号转化为更高电压的驱动信号,以实现功率器件稳定导通和关断。

小幽余生不加糖 492

C#每日面试题-属性和字段的区别

在C#面试中,“属性(Property)和字段(Field)的区别”是基础且高频的考点。很多初学者会把两者混为一谈,甚至觉得“属性就是加了get/set的字段”,但这种理解只停留在表面。面试考察的核心,是对“封装思想”的理解,以及两者在语法特性、底层实现、实际应用中的本质差异。今天我们从“基础认知→核心差异→底层原理→实际应用→面试避坑”五个层面,把这个知识点讲透,既保证新手能看懂,又能满足面试的深度要求。

Amon的专栏 778

【数据库】MySQL逻辑备份恢复 MyDumper & MyLoader

MyDumper和MyLoader是一套高性能MySQL逻辑备份与恢复工具集,采用多线程并行处理,备份/恢复速度远超传统mysqldump。MyDumper通过主线程获取全局读锁后创建子线程建立一致性快照,并行导出表结构和数据;MyLoader则并行恢复数据并支持延迟创建索引优化性能。该工具支持事务一致性、文件压缩、正则筛选等特性,兼容MySQL、MariaDB等数据库,适合需要快速逻辑备份恢复的场景。相比官方工具,它提供了更好的性能但缺乏官方支持,对非事务表的一致性保障有限。

FixPng的博客 1432

Android实战——白天黑夜模式设置

白天黑夜模式是一种动态的UI模式,根据当前时间或用户设置的偏好,在白天和黑夜之间进行切换。它通过调整应用程序的颜色、亮度和其他可视化元素来提供更加舒适和易读的用户界面。

小旭的专栏 5226

mydumper 介绍及使用

undefined 1 Mydumper 介绍 Mydumper是一个针对MySQL和Drizzle的高性能多线程备份和恢复工具。 Mydumper主要特性: 轻量级C语言写的 多线程备份,备份后会生成多个备份文件 事务性和非事务性表一致的快照(适用于0.2.2以上版本) 快速的文件压缩 支持导出binlog 多线程恢复(适用于0.2.1以上版本) 以守护进程的工作方式,定时快照和连续二进制日志(适用于0.5.0以上版本) 开源 (GNU GPLv3) 1 htt.

liujinwei2005的专栏 688

Centos 7 Linux 安装单机 Hadoop(HDFS):下载、安装、配置、测试

本文详细介绍了在 CentOS 7 系统上安装与配置单机 Hadoop(HDFS)的完整流程,涵盖 JDK 环境准备、Hadoop 安装包下载与部署、核心配置文件(core-site.xml、hdfs-site.xml 等)修改、SSH 免密登录设置、HDFS 格式化及服务启动,并通过命令行与 Web 界面验证 HDFS 和 YARN 功能,适合 Hadoop 初学者快速搭建本地测试环境。

寒水馨 · 轻量级技术文档 · hanshuixin.org 3234

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

[MySQL] 备份与恢复

​ MySQL 能恢复到半个月内任意一秒的状态,这是怎么做到的?它依赖:全量备份(状态快照) + 增量备份(Binlog 重放)。

Steve_Albini的博客 1458

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

(4.13)mysql备份原理(转)

关键词:mysqldump原理,--single-transaction,mysql备份原理 转自:https://www.cnblogs.com/cchust/p/5452557.html MySQL备份原理详解 备份是数据安全的最后一道防线,对于任何数据丢失的场景,备份虽然不一定能恢复百分之百的数据(取决于备份周期),但至少能将损失降到最低。衡量备份恢复有两...

weixin_30535565的博客 133

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

Mydumper介绍

转载自:https://www.cnblogs.com/abclife/p/7755031.html Mydumper是一个针对MySQL和Drizzle的高性能多线程备份和恢复工具。开发人员主要来自MySQL,Facebook,SkySQL公司。目前已经在一些线上使用了Mydumper。 一、Mydumper主要特性:  -执行并行(速度快)、性能提升  -易于管理  -一致性:在所有的th...

weixin_34077371的博客 336

MySQL 备份

备份的作用

ManWZD的博客 306

mysql备份恢复详解

XtraBackup 是 Percona 公司开发的 开源 MySQL 物理热备份工具,是目前生产环境 MySQL 物理备份的事实标准,支持 MySQL、Percona Server、MariaDB 所有主流版本,备份和恢复速度是逻辑备份工具的 5~20 倍,完全不影响业务读写,是 TB 级大库生产环境备份的首选方案。mydumper 是一款开源的 多线程高性能 MySQL/MariaDB/Percona Server 逻辑备份工具,由 MySQL 社区开发,是 mysqldump 的首选替代方案,

qgknOU8y2的博客 218
上一篇: MySQL--mydumper
下一篇: MySQL--索引
共勉浩浩
博客等级 码龄4年 508粉丝 37原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

共勉浩浩

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值