技术分享 | 克隆:更优雅的创建 MySQL 实例副本

13 万字 C 语言从入门到精通保姆级教程2021 年版 13 万字C语言保姆级教程,从入门到精通。 阅读详情

​原创作者:Debarun Banejee

发布时间:2019年7月23日

翻译:管长龙


背景

大多情况下,需要可靠而有效地克隆 MySQL 实例数据。这包括 MySQL 高可用的解决方案,其中需要在将实例加入组复制集群之前配置实例,或者在经典复制模型中将其添加为 Slave。

为复制拓扑而创建 MySQL 副本一直很麻烦。涉及的步骤很多,首先要备份 MySQL 服务器,通过网络将备份传输到我们想要添加到复制集的新 MySQL 节点,然后在该节点上恢复备份并手动启动 MySQL 服务器。为了高可用,最好还要将其正确设置备份的 GTID,并启动并运行群集。涉及的手动步骤数量过多不利于高可用。CLONE 插件解决了这个问题并简化了副本配置。使您可以使用 MySQL 客户端(和 SQL 命令)来配置新节点并在发生时观察克隆进度。无需手动处理多个步骤并维护自己的基础架构来配置新的 MySQL 节点。

MySQL 8.0.17 引入了 CLONE SQL 语句,使当前的 MySQL 服务器成为另一个运行在不同节点的 MySQL 服务器的“克隆”。我们将执行 clone 语句的服务器实例称为“受体”。克隆的源服务器实例称为“供体”。供体克隆以一致的快照存储在 InnoDB 存储引擎中的所有数据和元数据,以替换受体中的数据。

成功执行 CLONE SQL 语句后,将自动重新启动受体服务器。重新启动涉及恢复克隆的快照数据,就像用老方法复制数据一样。恢复完成后,受体就是供体的克隆版,随时可以使用!

 

这里有一些关于克隆过程的重要注意事项。

  • 不克隆 MySQL 配置参数,并且受体保留所有原始配置参数,如克隆之前。这样做是因为许多配置可能特定于节点(例如 PORT),因此保留它们似乎是一个不错的选择。另一方面,一些存储配置确实需要在供体和受体之间匹配(例如 innodbpagesize),如果这样的配置参数不匹配,CLONE 将报告错误。

  • CLONE 插件不会克隆二进制日志。

  • CLONE 插件目前仅支持 InnoDB 存储引擎。在其他存储引擎(如 MyISAM 和 CSV)中创建的表将被克隆为空表。克隆基础架构的设计允许克隆 MySQL 支持的任何存储引擎。但是,只有 InnoDB 序列化和反序列化方法已经实现并经过测试。

  • 克隆会阻止供体中的所有并发 DDL。

  • 需要注意的事实是受体放弃所有数据以及任何二进制日志,以便成为供体实例的克隆。在执行 CLONE 之前,如果认为有必要,需要备份当前受体数据。

 

克隆实验

现在让我们通过一个真实的例子和步骤来执行克隆。在下面的示例中,我们还将查看一些有趣的细节,例如,可观察性

  • 如何监视长时间运行的克隆命令的进度以及克隆等所需的权限。在下面的示例中,我们将使用经典 shell。使用新 shell,您可以将克隆状态可视化为进度条。

 

步骤1:选择并设置供体

选择要从中克隆的 MySQL 服务器并以系统用户身份连接到该服务器。然后安装 clone 插件并为将从捐赠服务器传输数据的用户提供备份权限。

mysql> INSTALL PLUGIN CLONE SONAME "mysql_clone.so";
mysql> CREATE USER clone_user IDENTIFIED BY "clone_password";
mysql> GRANT BACKUP_ADMIN ON *.* to clone_user;

授予查看性能模式和执行函数的权限。这是为了观察克隆进度。

mysql> GRANT SELECT ON performance_schema.* TO clone_user;
mysql> GRANT EXECUTE ON *.* to clone_user;

 

步骤2:选择并设置收件人

选择将成为供体克隆的服务器。如果配置新节点,则首先初始化数据目录并启动服务器。

以系统用户身份连接到服务器。然后安装 clone 插件并向用户提供 CLONE_ADMIN 权限,该权限将用克隆数据替换当前实例数据。我们还维护一个配置,列出一组可以克隆的有效供体。

mysql> INSTALL PLUGIN CLONE SONAME "mysql_clone.so";
mysql> SET GLOBAL clone_valid_donor_list = "donor.host.com:3306";
mysql> CREATE USER clone_user IDENTIFIED BY "clone_password";
mysql> GRANT CLONE_ADMIN ON *.* to clone_user;

donor 供体

授予查看性能模式和执行函数的权限。这是为了观察克隆进度。

mysql> GRANT SELECT ON performance_schema.* TO clone_user;
mysql> GRANT EXECUTE ON *.* to clone_user;

 

步骤3:连接到收件人并执行 CLONE SQL 语句

我们在这里提到运行的供体主机名和默认为 3306 的 MySQL 协议端口。供体必须可以访问受体服务器。受体将与提供的地址和凭证连接到供体并开始克隆。

mysql> CLONE INSTANCE
-> FROM clone_user@donor.host.com:3306
-> IDENTIFIED BY "clone_password";

克隆命令可能需要一些时间才能完成,具体取决于数据集的大小和供体上的负载。

 

步骤3A:等待克隆完成并检查进度

在克隆数据是否正在进行时,创建与受体的另一个连接,以使用 performance_schema 视图观察正在运行的克隆操作的进度。

此处显示的数据用于通过局域网克隆大约 100GB 的数据库,并在供体上使用适当的 sysbench 读写负载。数据可能因 CPU,磁盘,使用的网络和供体上的负载而异。

mysql> select STATE, CAST(BEGIN_TIME AS DATETIME) as "START TIME",
CASE WHEN END_TIME IS NULL THEN
LPAD(sys.format_time(POWER(10,12) * (UNIX_TIMESTAMP(now()) - UNIX_TIMESTAMP(BEGIN_TIME))), 10, ' ')
ELSE
LPAD(sys.format_time(POWER(10,12) * (UNIX_TIMESTAMP(END_TIME) - UNIX_TIMESTAMP(BEGIN_TIME))), 10, ' ')
END as DURATION
from performance_schema.clone_status;

+-------------+---------------------+------------+
| STATE | START TIME | DURATION |
+-------------+---------------------+------------+
| In Progress | 2019-07-17 17:23:26 | 4.84 m |
+-------------+---------------------+------------+

在启动命令约 5 分钟后克隆正在进行中。现在我们检查进度视图以获取更多详细信息。

我们使用 sys.format_time 中的格式在“DURATION”列中方便地显示时间。“m”意味着这里的分钟。有关详细信息,请参阅

mysql> select STAGE, STATE, CAST(BEGIN_TIME AS TIME) as "START TIME",
CASE WHEN END_TIME IS NULL THEN
LPAD(sys.format_time(POWER(10,12) * (UNIX_TIMESTAMP(now()) - UNIX_TIMESTAMP(BEGIN_TIME))), 10, ' ')
ELSE
LPAD(sys.format_time(POWER(10,12) * (UNIX_TIMESTAMP(END_TIME) - UNIX_TIMESTAMP(BEGIN_TIME))), 10, ' ')
END as DURATION,
LPAD(CONCAT(FORMAT(ROUND(ESTIMATE/1024/1024,0), 0), " MB"), 16, ' ') as "Estimate",
CASE WHEN BEGIN_TIME IS NULL THEN LPAD('0%', 7, ' ')
WHEN ESTIMATE > 0 THEN
LPAD(CONCAT(CAST(ROUND(DATA*100/ESTIMATE, 0) AS BINARY), "%"), 7, ' ')
WHEN END_TIME IS NULL THEN LPAD('0%', 7, ' ')
ELSE LPAD('100%', 7, ' ') END as "Done(%)"
from performance_schema.clone_progress;

+-----------+-------------+------------+------------+-----------+---------+
| STAGE | STATE | START TIME | DURATION | Estimate | Done(%) |
+-----------+-------------+------------+------------+-----------+---------+
| DROP DATA | Completed | 17:23:26 | 790.86 ms | 0 MB | 100% |
| FILE COPY | In Progress | 17:23:27 | 4.85 m | 94,729 MB | 47% |
| PAGE COPY | Not Started | NULL | NULL | 0 MB | 0% |
| REDO COPY | Not Started | NULL | NULL | 0 MB | 0% |
| FILE SYNC | Not Started | NULL | NULL | 0 MB | 0% |
| RESTART | Not Started | NULL | NULL | 0 MB | 0% |
| RECOVERY | Not Started | NULL | NULL | 0 MB | 0% |
+-----------+-------------+------------+------------+-----------+---------+

克隆处于文件复制阶段(复制文件),约 94G 的总工作量的 47% 现已完成。现在我们等待更多时间并重新检查进度。

+-----------+-------------+------------+----------+------------+---------+
| STAGE | STATE | START TIME | DURATION | Estimate | Done(%) |
+-----------+-------------+------------+----------+------------+---------+
| DROP DATA | Completed | 17:23:26 | 790.86 ms | 0 MB | 100% |
| FILE COPY | Completed | 17:23:27 | 10.33 m | 94,729 MB | 100% |
| PAGE COPY | Completed | 17:33:47 | 15.91 s | 11,885 MB | 100% |
| REDO COPY | Completed | 17:34:03 | 1.07 s | 293 MB | 100% |
| FILE SYNC | In Progress | 17:34:04 | 51.68 s | 0 MB | 0% |
| RESTART | Not Started | NULL | NULL | 0 MB | 0% |
| RECOVERY | Not Started | NULL | NULL | 0 MB | 0% |
+-----------+-------------+------------+-----------+-----------+---------+

大多数克隆阶段都已完成,克隆现在处于 FILE SYNC 阶段(将数据同步到磁盘)。FILE SYNC 阶段完成后,将返回 clone 命令,服务器将自动重启。在最后两个阶段 RESTART 和 RECOVERY 期间,服务器将不可用。这是因为 MySQL 在此阶段从克隆数据中进行完全恢复。正在应用重做日志,并且必须在快照 GTID 上同步新克隆,以便它可以使用二进制日志赶上上游服务器。我们只有在这些阶段结束后才能检查状态。

 

步骤4:验证克隆是否成功完成

CLONE SQL 需要在完成后重新启动服务器。CLONE SQL 成功返回后,服务器将自动关闭。执行 CLONE SQL 的客户端可能会丢失连接。注意:如果启用了自动重新连接,则在服务器重新启动后将重新建立连接。否则,必须手动重新建立连接。

受体应该在具有监视进程的环境中运行,以检测服务器关闭和重新启动。请参阅通常首选的MySQL 服务器的运行环境。

在存在监视进程的情况下,客户端可以在 CLONE 之后自动重新启动后重新连接到受体。

如果没有监视进程,clone 将返回错误并关闭服务器。

ERROR 3707 (HY000): Restart server failed (mysqld is not managed by supervisor process).

此错误消息不表示克隆失败。这意味着需要手动重启服务器,然后客户端需要重新连接到服务器。

客户端重新连接到受体后,请检查 performance_schema 视图以验证克隆是否已成功完成。

mysql> select STATE, ERROR_NO, BINLOG_FILE, BINLOG_POSITION, GTID_EXECUTED,
CAST(BEGIN_TIME AS DATETIME) as "START TIME",
CAST(END_TIME AS DATETIME) as "FINISH TIME",
sys.format_time(POWER(10,12) * (UNIX_TIMESTAMP(END_TIME) - UNIX_TIMESTAMP(BEGIN_TIME)))
as DURATION
from performance_schema.clone_status \G

*************************** 1. row ***************************
STATE: Completed
ERROR_NO: 0
BINLOG_FILE: binlog.000005
BINLOG_POSITION: 101810585
GTID_EXECUTED: 229fc19e-a876-11e9-a441-0010e0b6728a:1-2008636
START TIME: 2019-07-17 17:23:26
FINISH TIME: 2019-07-17 17:40:27
DURATION: 17.01 m

克隆已成功完成,大约需要 17 分钟才能完成。验证所有阶段是否成功完成以及在各个阶段中花费的时间。

mysql> select STAGE, STATE, CAST(BEGIN_TIME AS DATETIME) as "START TIME",
CAST(END_TIME AS DATETIME) as "FINISH TIME",
LPAD(sys.format_time(POWER(10,12) * (UNIX_TIMESTAMP(END_TIME) - UNIX_TIMESTAMP(BEGIN_TIME))), 10, ' ')
as DURATION
from performance_schema.clone_progress;
select STAGE, STATE, CAST(BEGIN_TIME AS TIME) as "START TIME",
CAST(END_TIME AS TIME) as "FINISH TIME",
LPAD(sys.format_time(POWER(10,12) * (UNIX_TIMESTAMP(END_TIME) - UNIX_TIMESTAMP(BEGIN_TIME))), 10, ' ')
as DURATION
from performance_schema.clone_progress;

+-----------+-----------+------------+-------------+------------+
| STAGE | STATE | START TIME | FINISH TIME | DURATION |
+-----------+-----------+------------+-------------+------------+
| DROP DATA | Completed | 17:23:26 | 17:23:27 | 790.86 ms |
| FILE COPY | Completed | 17:23:27 | 17:33:47 | 10.33 m |
| PAGE COPY | Completed | 17:33:47 | 17:34:03 | 15.91 s |
| REDO COPY | Completed | 17:34:03 | 17:34:04 | 1.07 s |
| FILE SYNC | Completed | 17:34:04 | 17:35:32 | 1.46 m |
| RESTART | Completed | 17:35:32 | 17:35:40 | 7.77 s |
| RECOVERY | Completed | 17:35:40 | 17:40:27 | 4.79 m |
+-----------+-----------+------------+-------------+------------+

受体现在是供体的克隆,GTID 设置正确。现在可以基于 GTID 或二进制日志位置加入高可用集群。

阅读原文:

https://mysqlserverteam.com/clone-create-mysql-instance-replica/

WSL子系统启动报错 Wsl/Service/CreateInstance/CreateVm/HCS_E_SERVICE_NOT_AVAILABLE WSL子系统启动报错 :Wsl/Service/CreateInstance/CreateVm/HCS_E_SERVICE_NOT_AVAILABLE 于是分析原因,最终发现是Windows功能中的虚拟机平台功能不知道什么时候被取消了。 阅读详情

相关推荐

【分子指纹】化学分子指纹的概念和应用(非常重要)

分子指纹(Molecular fingerprints)可以低计算成本的方式表示大规模化学数据集中化合物的化学(结构、物理化学等)性质。它们在将化学数据集中的分子转换为适合于计算方法的一致输入格式(bit向量或数值)方面发挥着重要作用。在这篇综述中,

DJJ5210的博客 1万+

AI Agent环境快照与克隆技术:实现可回溯、可扩展的智能体开发

在AI Agent开发与部署中,环境管理是核心挑战,涉及依赖管理、状态一致性和并行处理等关键问题。环境快照技术通过捕获进程级完整状态(包括文件系统、内存和内核状态),实现了状态的精确保存与恢复,其底层通常基于CRIU等检查点技术,并针对AI工作负载进行优化。环境克隆则利用写时复制和联合文件系统,实现从基准环境快速创建多个隔离实例,大幅提升资源利用率和并行能力。这些技术为AI Agent提供了可回溯的调试能力和可扩展的执行架构,显著提升了开发、测试与部署效率。在AI Agent开发中,快照与克隆技术能有效解决

weixin_30335353的博客 501

大模型运维实战:从GPU选型到推理服务稳定落地

大模型服务进入生产环境后,运维对象从传统进程转向GPU显存、KV Cache、推理吞吐等动态资源。显存利用率、首token延迟、并发队列深度等指标,直接影响模型服务的质量与成本。理解推理框架的内存分配机制、掌握监控告警与自动化扩容手段,是保障服务稳定的关键。这类能力广泛应用于企业私有化部署、智能客服、知识库问答等场景,帮助运维团队从被动救火转向主动容量规划与性能调优。本文围绕大模型运维的完整路线,梳理从硬件选型、推理部署到监控排障的实战经验,并算清一份真实项目的长期成本账。

weixin_29054245的博客 242

MySQL数据库克隆(带脚本)

1、捐赠者和接受者 INSTALL PLUGIN clone SONAME 'mysql_clone.so'; 2、创建用户及授权 捐赠者: 创建克隆所需用户: CREATE USER `clone_user`@`172.16.250.8` IDENTIFIED by 'clone_user'; GRANT BACKUP_ADMIN ON *.* TO `clone_user`@`172.16.250.8` # BACKUP_ADMIN是MySQL8.0 才有的备份锁

zibuyu886的博客 7804

ENSP Pro VXLAN EVPN分布式网关部署配置

在BGP EVPN方式部署分布式网关的场景中,控制平面的流程包括VXLAN隧道建立、MAC地址动态学习;转发平面的流程包括同子网已知单播报文转发、同子网BUM报文转发、跨子网报文转发。该方式实现的功能全面,支持主机IP路由通告、主机MAC地址通告、主机ARP通告,可以直接使能ARP广播抑制功能。如果在VXLAN网络中采用分布式网关,推荐使用此方式。对比集中式网关,分布式网关的arp条目比集中式网关的arp条目少,分布式网关只学习租户侧的arp条目,不学习网络侧的arp条目。

qq2353177176的博客 4565

如何利用CN3791实现太阳能电池板对锂电池的高效充电管理

本文详细介绍了如何利用CN3791芯片实现太阳能电池板对锂电池的高效充电管理。CN3791集成了MPPT(最大功率点跟踪)功能,能智能调节太阳能板的输出,确保在不同光照条件下获得最大功率。文章涵盖芯片工作原理、外围电路设计、充电全过程管理及实际应用经验,帮助开发者优化太阳能充电系统效率。

weixin_33709219的博客 500

【MySQL篇】通过Clone插件进行远程克隆数据(第三篇,总共三篇)

通过MySQL的Clone插件进行远程克隆数据。

奈斯DB的博客 3392

SAP PP未清生产订单关闭物料退料、新工单发料批量处理

( werks = '1001' lgort = 'A004' lgobe = '组装-成品组装' )( werks = '1002' lgort = 'C006' lgobe = '组装-二车间' )( werks = '1002' lgort = 'C007' lgobe = '组装-二车间' )( werks = '1001' lgort = 'A007' lgobe = '组装-MS' )( werks = '1001' lgort = 'A008' lgobe = '组装-GW' )

dingqing86的专栏 1194

MySQL Clone插件

克隆插件简介 MySQL 8.0.17引入了Clone插件,可以进行本地或从远程MySQL服务器实例进行克隆,克隆的数据是存储在InnoDB中的数据的物理快照,包括schemas、tables、tablespaces和数据字典元数据。克隆操作包括本地克隆和远程克隆。 本地克隆操作: 远程克隆操作: 安装克隆插 使用Clone插件进行克隆操作,必须先进行插件的安装和配置。插件的名称是mysql_clone.so,安装有两种方法。 方法1: MySQL数据库的插件默认放在系统变量pl

个人公众号:Alen的数据库学习笔记 2897

ardupilot 日志分析《xKF1信息》

ardupilot 日志分析系列将会把ardupilot所有的日志文档进行分析,为我们分析无人机的运行状态,炸鸡原因,传感器状态,电机状态,控制信息,滤波信息做准备。本节主要分析xKF1日志信息,欢迎批评指正。学习好ardupilot必须会分析飞行日志,从飞行日志中我们可以学到很多无人机的知识。无人机是综合知识的体现,涵盖:导航、控制、滤波、算法、协议等各种知识,只有更全面的学习,才能在无人机的道路上越走越远。

陌城烟雨 1226

无人机视角下基于YOLOv5/v8/v10的车辆检测系统:从算法原理到UI界面实战

随着无人机技术的普及和智慧城市的发展,无人机视角下的车辆检测在交通监控、战场侦察、灾害救援等领域展现出巨大的应用价值。然而,无人机航拍图像存在目标尺度小、视角多变、背景复杂等挑战。本文深入探讨了如何利用YOLOv5、YOLOv8、YOLOv10三个代表性目标检测算法,构建一套完整的无人机车辆检测系统。文章不仅详细解析了各版本YOLO的核心技术演进,还提供了从数据集准备、模型训练、性能评估到基于PyQt5/PySide6的图形界面开发的完整代码实现。通过本文,读者将能够掌握构建无人机实时车辆检测系统的全流程技

YOLO 174

【MySQL篇】自带物理克隆数据工具Clone插件介绍(第一篇,总共三篇)

了解和学习MySQL8.0.17版本之后新增的物理克隆数据工具——MySQL Clone Plugin。通过该插件可以在生产数据库运行时进行无损克隆数据,这一功能使得数据库管理员能够更加方便地进行数据复制和备份,提高了数据库管理的效率和灵活性。

奈斯DB的博客 3200

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

Mysql通过Clone插件同步数据库

数据库通过Clone复制数据

weixin_51722520的博客 420

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

mysql5.7复制集_技术分享 | 克隆:更优雅的创建 MySQL 实例副本

背景大多情况下,需要可靠而有效地克隆 MySQL 实例数据。这包括 MySQL 高可用的解决方案,其中需要在将实例加入组复制集群之前配置实例,或者在经典复制模型中将其添加为 Slave。为复制拓扑而创建 MySQL 副本一直很麻烦。涉及的步骤很多,首先要备份 MySQL 服务器,通过网络将备份传输到我们想要添加到复制集的新 MySQL 节点,然后在该节点上恢复备份并手动启动 MySQL 服务器。为...

weixin_40007668的博客 324

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

mysql 反序列化_技术分享 | 克隆:更优雅的创建 MySQL 实例副本

原创: 管长龙 翻译 原创作者:Debarun Banejee发布时间:2019年7月23日背景大多情况下,需要可靠而有效地克隆 MySQL 实例数据。这包括 MySQL 高可用的解决方案,其中需要在将实例加入组复制集群之前配置实例,或者在经典复制模型中将其添加为 Slave。为复制拓扑而创建 MySQL 副本一直很麻烦。涉及的步骤很多,首先要备份 MySQL 服务器,通过网络将备份传输到我们想要...

weixin_39982017的博客 88

数据库运维实操优质文章分享(含Oracle、MySQL等) | 2023年3月刊

本文为大家整理出了墨天轮社区3月的优质技术实践文章,主题涵盖Oracle、MySQL、PostgreSQL等数据库的基础安装配置操作、故障处理、性能优化等日常实践操作,以及概念梳理、常用脚本等总结记录,分享给大家。

Era666的博客 582

简诗项目完全指南:如何用现代技术栈打造优雅的中国风诗歌应用

简诗(JianShi)是一款融合现代技术与传统美学的中国风诗歌应用,作为完整的全栈移动项目,它包含Android客户端与服务端,让用户能够以优雅的传统中文风格创作诗歌,并支持登录注册、数据云端同步、离线存储和截屏分享等实用功能。 ## 项目核心功能与特色 简诗以"用现代技术传承诗意之美"为核心理念,提供了多项专为诗歌创作设计的特色功能: - **中国风界面设计**:应用整体采用淡雅的传统美学

gitblog_00273的博客 475

【亲测免费】 打造你的诗意空间:POETIZE个人博客系统,让写作更优雅

打造你的诗意空间:POETIZE个人博客系统,让写作更优雅 【下载地址】POETIZE个人博客系统源码最美博客 POETIZE个人博客系统源码 最美博客是一个基于SpringBoot、Vue2和Vue3开发的综合性个人博客系统。该系统不仅支持移动端自适应,还提供了完备的前台和后台管理功能。系统分为两个主要模块:博客系统和...

gitblog_09814的博客 775

Git单分支克隆:按需加载的高效协作实践

Git单分支克隆是一种基于分布式版本控制原理的轻量同步机制,它通过refspec协商与对象可达性分析,仅下载目标分支所需的最小提交图谱,显著降低带宽占用、磁盘消耗和初始化延迟。其技术价值在于践行‘最小可行数据集’理念,将资源聚焦于当前任务上下文,避免全量历史冗余。典型应用场景包括代码审查、CI/CD构建节点、新成员快速上手、临时调试及静态分析等对时效性与隔离性要求高的工程环节。本文深入解析--single-branch与--branch的协同机制,并结合实测对比与避坑指南,帮助开发者真正掌握这一被低估的核心

weixin_34323858的博客 587

探索无限创意——打造属于你的Instagram克隆版!

探索无限创意——打造属于你的Instagram克隆版! 在这个数字时代,分享生活和捕捉美好瞬间已成为我们的日常。现在,借助一个名为Instagram的开源项目,你可以创建自己的社交媒体平台,拥有与Instagram相似的功能,但完全符合你的个性化需求。 项目介绍 这个项目是一个基于React前端框架和Egg.js后端框架的Instagram克隆应用。它集成了Ant Design UI库,提供了优雅...

gitblog_00093的博客 389

React-Blog:如何使用Ant Design打造简约优雅的UI界面

React-Blog是一个基于React Hooks + Koa2 + Sequelize + MySQL构建的个人博客系统,它巧妙运用Ant Design组件库打造了简约优雅的用户界面。本文将深入解析这个开源博客项目如何利用Ant Design实现现代化、响应式的UI设计,为开发者提供实用的UI设计指南。 ## 🎯 项目概述与Ant Design集成 React-Blog项目采用前后端分离

gitblog_00095的博客 993

FlinkX实战:MySQL到MySQL数据同步保姆级教程(含常见报错解决)

本文提供了一份详细的FlinkX实战教程,指导如何完成MySQL到MySQL的数据同步。内容涵盖从环境准备、核心配置解析到任务启动与监控的全流程,并重点分享了常见报错的解决方案与性能优化技巧,帮助用户高效构建稳定可靠的数据同步管道。

weixin_29062865的博客 242

AI智能体工具克隆评估:构建安全高效MCP工具的实战框架

在AI智能体(Agent)生态中,工具集成是扩展其能力的关键。Model Context Protocol(MCP)作为一种标准化协议,旨在解决工具与智能体框架间的集成难题,它通过定义统一的通信接口和数据格式,将复杂的软件功能封装成智能体可调用的标准化语义接口。这一过程的核心价值在于提升智能体的自动化水平与任务执行范围,使其能够安全、可靠地操作数据库、设计软件等外部资源。然而,工具克隆(Tool Cloning)在带来便利的同时,也引入了质量、安全与性能的挑战。一个设计良好的MCP工具,必须经过系统性的评估

weixin_30564785的博客 427

如何优雅地聚合微信公众号内容:WeWe RSS完整使用指南

在信息过载的时代,你是否曾为错过重要公众号文章而烦恼?或者厌倦了在微信中频繁切换不同公众号的阅读体验?**WeWe RSS**正是为解决这些问题而生的开源工具,它为你提供了一种更优雅的微信公众号订阅方式。这款基于微信读书接口的RSS生成器,能够将分散的公众号内容聚合到统一的RSS订阅流中,让你在任何RSS阅读器中轻松获取和管理所有关注的内容。 ## 🌟 核心亮点:为什么选择WeWe RSS?

gitblog_00352的博客 731

云MySQL vs 自建MySQL:瑶池RDS实测决策指南

MySQL作为最主流的关系型数据库,其部署模式选择直接影响系统稳定性、运维成本与业务迭代效率。云MySQL本质是基于云原生架构重构的托管服务,通过计算存储分离、内核级协议优化(如X-Log同步、智能预读)和自动化调参实现高可用与弹性;而自建MySQL则需承担从硬件运维、参数调优到故障恢复的全链路责任。技术价值体现在分钟级部署、秒级RTO、零感知备份等工程确定性上,广泛应用于电商中台、SaaS多租户、IoT数据网关等流量波动大、迭代快的场景。本文以瑶池数据库RDS为典型,结合真实压测与12个生产案例,深入对比

WGH100817的博客 349
上一篇: 技术分享 | 派生表中的各种外部引用
下一篇: 技术分享 | MongoDB 分片节点同时作为chunk migration的源端和目标端导致迁移失败
爱可生开源社区
博客等级 码龄8年 1938粉丝 1004原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值