QEMU-KVM中的多线程压缩迁移技术

最新推荐文章于 2024-05-03 18:34:39 发布
转载 最新推荐文章于 2024-05-03 18:34:39 发布 · 598 阅读 · 0
文章标签：

#KVM

本文介绍了一种使用多线程压缩技术的QEMU虚拟机动态迁移方案，该方案能在压缩/解压缩过程中有效利用CPU资源，显著降低迁移时间和宕机时间。实测表明，与传统动态迁移相比，总迁移时间最多可减少50%，宕机时间减少35%，尤其在网络带宽受限而CPU资源充足的环境下效果更佳。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

导读目前的迁移技术，都是通过向QEMUFILE中直接写入裸内存数据来达到传送虚拟机的目的端，这种情况下，发送的数据量大，从而会导致更高的迁移时间(total time)和黑宕时间(downtime)。本文介绍的方法，在发送前对客户机内存进行压缩，在目的端接收到内存后，进行对数据进行解压缩，从而恢复客户机的内存。

1.技术原理

使用带压缩技术的迁移后，传输的数据总量会减少60%，总迁移时间减少70%+，同时宕机时间减少50%以上。一方面，压缩/解压缩的过程会消耗CPU周期而加大了迁移的时间；另一方面，总传输数据量的锐减，又会减少迁移时间。为了能够进行高速的压缩，本技术中使用了多线程并发的方式，提高压缩的目前虚拟机中，使用ZLIB完成压缩/解压缩的工作。

在CPU相同的情况下，ZLIB官方给出，解压缩的速度是压缩速度的4倍。也就是说，如果迁移的源端和目的端处理器相同的情况下，使得压缩线程数量是解压缩线程数量的4倍就可以在资源消耗最小的情况下，取得最优的压缩为了更多的适应网络状况，虚拟机中引入了压缩级别 -- Compression level。Compression level可以用来控制压缩速率和压缩比例。高的压缩比率会消耗更多的时间，level 0就代表不进行压缩， 1级代表最优的压缩速率， 9级代表了最好的压缩比率(最多的压缩时间)。我们可以选择从0级到9级中的任意一个级别。

2. 多线程压缩动态迁移技术的应用场景

压缩/解压缩时间将会消耗CPU周期。所以，如果整个系统CPU都被压得非常满的情况下，避免使用这个特性。当网络带宽有限，CPU资源又足够充足的情况下，使用多线程压缩动态迁移技术会带来比较好的效果。当网络充足且CPU资源充足的情况下，使用本技术也将会减少总迁移时间。

3. 多线程压缩迁移技术使能方法
源端：

1. 启动虚拟机

/home/liufeng/qemu-system-x86_64 -machine accel=kvm -hda ./disk0.img -m 2048 -vnc 192.168.2.106:0 -monitor stdio

2. 使能源端多线程压缩动态迁移技术

a.) migrate_set_capabilitycompress on //使能压缩
b.) migrate_set_parametercompress-threads 12 //12个压缩线程
c.) migrate_set_parametercompress-level 1 //压缩级别为1级

3. 开始迁移

migrate -d tcp:192.168.2.105:6666
目的端：

1. 启动虚拟机

/home/liufeng/qemu-system-x86_64 -machine accel=kvm -hda /home/kvm/vm/disk/disk0.img -m 2048 -vnc 192.168.2.105:0 -monitor stdio -incoming tcp:192.168.2.105:6666

2. 使能目的端多线程压缩动态迁移技术

a.) migrate_set_capabilitycompress on
b.) migrate_set_parametercompress-level 1
c.) migrate_set_parameterdecompress-threads 3 //3个压缩线程

3. 等待迁移完成

4. 效果验证
运行环境:

CPU: Intel(R) Xeon(R) CPU E5-2650 v3 @2.30GHz
Logic core: 40
Socket : 2
RAM: 128G
NIC: 1000baseT/Full
Host OS: CentOSLinux release 7.2.1511 (Core) 64-bit
Guest OS: CentOS Linux release 7.2.1511 (Core) 64-bit

a. 情况一：带宽无限制，CPU充足
 原动态迁移多线程压缩技术动态迁移

压缩级别：    1

压缩线程数：  12

解压缩线程数：3

迁移总时间(msec):95364466
Downtime时间(msec):3422
传输数据量(KB)307783140445

效果：总的迁移时间减少50%；downtime时间减少35%

b. 情况二：带宽有限制情况，CPU充足
 原动态迁移多线程压缩技术动态迁移

压缩级别：    1

压缩线程数：  12

解压缩线程数：3

迁移总时间(msec):117205652
Downtime时间(msec):16921
传输数据量(KB)311554140189

效果：总迁移时间减少了200%,downtime时间减少了800%

5. 代码实现分析

虚拟机实现代码分析如下(本分析基于：QEMU 2.5)：

1. 在启动migration过程中，如果发现使能了多线程压缩技术，则创建压缩线程

migration，压缩1

2. 迁移开始后，使用多线程压缩技术

有migration_thread()进行迁移工作，在iterator和complete阶段，如果发现使能了多线程压缩技术，则通过compress_page_with_multi_thread()完成数据的压缩和发送
migration-thread1

3. 通过zlib的compress2()函数完成数据的压缩，并通过QEMU-FILE发送

最终在compress_page_with_multi_thread()中激活压缩线程，通过zlib的compress2()函数完成数据的压缩，并通过QEMU-FILE发送
thread qemu1

6. 可优化点

1. 压缩算法

a. 目前使用的是开源zlib库完成压缩，还有其他压缩库的压缩方式可以提供，以便适应更多的场景

b. 商业压缩库有着更好的效率

c. 通过FPGA进行硬件辅助压缩

2. 压缩策略

a. 虚拟机迁移算法自适应所有网络，对网络进行测试（是否满足上面的公式），然后形成反馈因子输入到迁移算法中，迁移算法根据反馈因子决定使用的压缩算法、压缩级别或者根本不压缩，达到在所有网络状况下而缩短downtime的目的。


本文转载自：http://www.linuxprobe.com/qemu-kvm-migration.html

免费提供最新Linux技术教程书籍，为开源技术爱好者努力做得更多更好：http://www.linuxprobe.com/


虚拟化技术 — QEMU-KVM 基于内核的虚拟机
烟云的计算
04-23 1550
例如：在执行 GuestOS 代码的过程中，GuestOS 发出了一个 I/O 请求，该事件会被 VMM 捕获，然后执行 VM Exit 执行，CPU 会自动将 GuestOS 的上下文加载到 VMCS Guest State Area 中，挂起 GuestOS，并从 VMCS Host State Area 中加载 VMM 的通用事件处理函数的入口地址，开始执行 VMM 的代码。自定义 VM 的 CPU 模型，-cpu 选项除了可以指定 GuestOS 的 CPU 模型，还可以指定附加的 CPU 特性。
[ kvm ] 学习笔记 5：QEMU-KVM 命令详解
weixin_30725315的博客
07-09 1104
1. QEMU、KVM 、QEMU-KVM QEMU 提供了一系列的硬件模拟设备（cpu、网卡、磁盘等），客户机指令都需要QEMU翻译，因此性能较差。KVM 是Linux 内核提供的虚拟化模块，负责CPU和内存的虚拟化，但是缺少I/O设备的虚拟化。QEMU-KVM 就是 KVM 与 QEMU 的结合，KVM 负责CPU虚拟化+内存虚拟化，QEMU 模拟其他I/O设备。 2. QEMU-K...
qemu多线程技术的实现
北方南方
08-03 6357
1 qemy_mutex_* 　　qemu_mutex_init –> pthread_mutex_init、qemu_mutex_destroy –> pthread_mutex_destroy、qemu_mutex_lock –> pthread_mutex_lock（如果锁被占据，则阻塞当前线程）、qemu_mutex_trylock –> pthread_mute...
QEMU的几个线程
木马屠城
05-31 5892
HOST将qemu当做一个普通的进程和其他进程统一调度，可以使用资源对qemu进行资源预留隔离(cpuset)和优先级提升(chrt)。qemu进程包含多个线程，分配给GUEST的每个vcpu都对应一个vcpu线程，另外qemu还有一个线程循环执行select专门处理I/O事件。 QEMU的主要线程: 主线程（main_loop），一个vCPU线程，一个或者多个I/O线程（aio），一个或
QEMU内在：整体架构和线程模型
CurtisGuo的专栏
01-21 3213
原文地址：http://blog.vmsplice.net/2011/03/qemu-internals-overall-architecture-and.html 一篇很不错的文章，所以翻译过来和大家分享，因为本人英语并不太好，所以有错误的地方敬请谅解指正。 =======================分割线========================== 这是针对开发者
2024年最全QEMU-KVM中的多线程压缩迁移技术_qemu-kvm收包线程
05-01 531
16、mysql的innodb如何定位锁问题，mysql如何减少主从复制延迟?2、在工作中，运维人员经常需要跟运营人员打交道，请问运营人员是做什么工作的?6、Squid、Varinsh和Nginx有什么区别，工作中你怎么选择?5、LVS、Nginx、HAproxy有什么区别?9、讲述一下Tomcat8005、8009、8080三个端口的含义？效果：总迁移时间减少了200%,downtime时间减少了800%7、Tomcat和Resin有什么区别，工作中你怎么选择?15、讲述一下LVS三种模式的工作过程?
2024年Linux最全QEMU-KVM中的多线程压缩迁移技术_qemu-kvm收包线程(2)，Linux运维自学教程
2301_76328475的博客
05-03 626
有migration_thread()进行迁移工作，在iterator和complete阶段，如果发现使能了多线程压缩技术，则通过compress_page_with_multi_thread()完成数据的压缩和发送。最终在compress_page_with_multi_thread()中激活压缩线程，通过zlib的compress2()函数完成数据的压缩，并通过QEMU-FILE发送。效果：总迁移时间减少了200%,downtime时间减少了800%效果：总的迁移时间减少50%；
网络存储与虚拟化技术以及Qemu-KVM
weixin_65852459的博客
04-26 1647
网络存储技术 文章目录网络存储技术一、HCIA存储技术趋势与智能存储组件（一）、HCIA存储技术趋势1、数据与信息（请看下图）2、数据存储（请看下图）3、存储技术的发展（请看下图）（1）、存储架构的发展（请看下图）（2）、存储介质的发展（请看下图）（3）、接口协议的发展（请看下图）4、存储产品的发展趋势（请看下图）（二）、智能存储组件1、控制框2、硬盘框3、级联模块4、硬盘（硬盘：分为机械硬盘和固态硬盘）5、接口模块二、虚拟化技术与网络存储技术（一）、虚拟化技术1、虚拟化技术分类2、Xen虚拟化技术的优缺点
QEMU多进程(Multi-process QEMU)及vfio-user应用
rayylee
10-22 1339
1.Qemu现状-多线程锁竞争 2.Qemu现状-项目依赖太多 $ readelf -d /usr/bin/qemu-system-x86_64 | grep NEEDED | wc -l 60 $ ldd /usr/bin/qemu-system-x86_64 | wc -l 158 3.Qemu现状-代码太过于庞大，大多数是C代码并且增长飞快 4.Qemu多进程最终目标 5.Qemu多进程原理 6.VFIO-User 原理 7.VFIO-User通过DMA模拟设备流程 8.Qemu多进程支
linux aio 线程,QEMU的几个线程
weixin_36418584的博客
05-09 268
HOST将qemu当做一个普通的进程和其他进程统一调度，可以使用资源对qemu进行资源预留隔离(cpuset)和优先级提升(chrt)。qemu进程包含多个线程，分配给GUEST的每个vcpu都对应一个vcpu线程，另外qemu还有一个线程循环执行select专门处理I/O事件。QEMU的主要线程:主线程(main_loop)，一个vCPU线程，一个或者多个I/O线程(aio)，一个或者多个wor...
QEMU线程模型
Flynn's Blog
12-28 1169
non-iothread 早期的qemu并不支持多线程，它只有一个线程，在这个线程中完成vcpu、设备模拟和事件处理等逻辑；当该线程正在执行vcpu虚拟机的代码时，如果此时虚拟机发生了一个异常或该线程收到了一个信号，则cpu从执行虚拟机的代码切换到qemu代码，然后根据select的返回结果去处理对应的文件描述符，等完成设备的模拟逻辑后，就接着执行虚拟机的代码。 iothread non-iothread的模型并不能利用多核处理器的性能，假如传入-smp 2，即要虚拟出2个vcpu，此时qemu也只有一个线
qemu内存迁移格式
Take Easy，Work Hard！
01-05 3745
qemu虚机内存的迁出通过savevm功能实现，迁入通过loadvm实现。libvirt使用此接口不仅实现了内存迁移，还实现了内存快照。内存迁移，将一个节点上运行的虚拟机，动态迁移到另一个节点上；内存快照，将运行虚拟机的内存快照保存到镜像文件中，通过快照还原，可以将虚拟机还原到做内存快照时刻的状态。内存迁移和快照都基于savevm/loadvm接口实现，因此分析快照镜像相当于于分析内存迁移的静态数据。本文基于这个原理，通过分析libvirt save命令保存的镜像文件，来间接分析qemu内存迁移的输出内容。
qemu内存迁移流程
Take Easy，Work Hard！
02-11 6214
本文主要是浅析qemu内存迁移流程，旨在理解迁移的整个环节。对于迁移内存最核心的脏页统计和速度计算，本文不会介绍。
kvm线程-002
qq_26000415的博客
07-22 5417
kvm在内部定义了很多方法来操作线程,如下: /* 线程的构造 */ void InitializeThreading(INSTANCE_CLASS, ARRAY); THREAD getVMthread(JAVATHREAD_HANDLE); /* 线程操作 */ void initThreadBehavior(THREAD, METHOD, OBJECT); void...
Qemu使用心得
lyw736632087的博客
06-22 973
使用Qemu的心得体会如下：（1）在QEMU源码中增加自己的.c实现，编译后出现很多个错误如：“error: storage class specified for parameter”。其实只要在实现的.c文件最前面加上如下头文件就可以了：#include "qemu/osdep.h"。（2）QEMU下Application打印信息不全的问题：QEMU启动参数增加串口重定向：-serial fi...
Qemu-kvm虚拟机迁徙流程，最好给我流程图
最新发布
07-05
<think>我们正在讨论Qemu-KVM虚拟机迁移的具体流程。根据引用内容，我们知道QEMU-KVM是一个用户态进程，负责设备模拟，并通过ioctl与内核模块KVM交互。虚拟机迁移涉及将虚拟机状态（包括CPU、内存、设备状态等）从源主机传输到目标主机。 迁移流程通常包括以下步骤： 1. 预迁移（Pre-migration）：源主机检查虚拟机是否可迁移（如设备是否支持迁移）。 2. 预留资源（Reserve resources）：目标主机预留资源（如内存、CPU等）以接收虚拟机。 3. 迭代迁移（Iterative migration）：源主机将内存页面复制到目标主机。在复制过程中，源主机继续运行，因此被修改的页面需要重新复制（称为脏页）。这个过程会迭代多次，直到脏页数量足够少。 4. 停机拷贝（Stop-and-copy）：当脏页数量低于阈值时，源主机暂停虚拟机，将剩余脏页和虚拟机设备状态传输到目标主机。 5. 提交（Commit）：目标主机确认接收成功，源主机确认迁移完成。 6. 启动（Activation）：目标主机启动虚拟机，源主机销毁原虚拟机。 由于用户要求流程图，我们可以用文字描述流程，然后使用Mermaid语法绘制流程图。 流程图描述如下： - 开始 - 源主机：发起迁移命令 - 目标主机：创建虚拟机环境（但不运行） - 循环（迭代迁移）： - 源主机传输内存页到目标主机 - 源主机记录脏页 - 如果脏页数量小于阈值，则退出循环 - 源主机暂停虚拟机 - 源主机传输剩余脏页和设备状态到目标主机 - 目标主机加载状态并启动虚拟机 - 源主机确认迁移成功，关闭原虚拟机 - 结束 下面用Mermaid语法绘制流程图： ```mermaid flowchart TD A[开始迁移] --> B[源主机: 检查迁移条件] B --> C[目标主机: 创建虚拟机环境] C --> D[迭代迁移] D --> E[源主机传输内存页] E --> F[源主机记录脏页] F --> G{脏页数量是否小于阈值？} G -- 否 --> D G -- 是 --> H[源主机暂停虚拟机] H --> I[源主机传输剩余脏页和设备状态] I --> J[目标主机启动虚拟机] J --> K[源主机确认迁移] K --> L[源主机关闭原虚拟机] L --> M[结束] ``` 详细步骤说明： 1. **预迁移**：在迁移开始前，源主机上的QEMU进程会检查虚拟机状态，确认是否支持迁移（如设备状态是否支持迁移）。 2. **目标主机准备**：目标主机上通过QEMU命令创建一个与源虚拟机配置相同的虚拟机（处于暂停状态），准备接收数据。 3. **迭代迁移**：源主机将内存分多次传输到目标主机。每次传输后，源主机继续运行虚拟机，同时通过KVM记录被修改的内存页（脏页）。然后，在下一次迭代中传输这些脏页。这个过程重复进行，直到脏页的数量足够少（通常由迁移算法确定）。 4. **停机拷贝**：当脏页数量低于阈值（或达到一定迭代次数）时，源主机暂停虚拟机，将剩余的脏页以及虚拟机的设备状态（通过设备模型保存的状态）传输到目标主机。这一步确保虚拟机状态的一致性。 5. **提交阶段**：目标主机接收到所有数据后，通知源主机迁移成功。源主机则确认迁移完成。 6. **启动目标虚拟机**：目标主机上的QEMU进程启动虚拟机，此时虚拟机从暂停状态恢复运行。 7. **清理**：源主机上的原虚拟机被销毁。 注意：设备状态的迁移是复杂的一步，因为每个设备（如磁盘、网卡）都有自己的状态。QEMU在设备模型中提供了状态序列化的方法，以便在迁移时能够保存和恢复设备状态。 引用说明： - 引用[1]说明了KVM虚拟机是QEMU-KVM进程，其CPU和内存都是该进程的一部分，因此迁移时需要迁移该进程的地址空间（即内存）和CPU状态（寄存器等）。 - 引用[2]和[3]说明了QEMU与KVM的交互方式，迁移过程中QEMU通过ioctl与KVM通信来获取虚拟机的状态（如脏页信息、寄存器状态等）。 相关问题： 1. 虚拟机迁移过程中如何保证数据一致性？ 2. 迁移过程中网络连接如何保持？ 3. 虚拟机迁移的性能优化有哪些方法？</think>### Qemu-KVM虚拟机迁移流程详解 Qemu-KVM虚拟机迁移是将运行中的虚拟机从源主机迁移到目标主机的过程，核心是通过QEMU进程与KVM模块协作实现状态转移。以下是完整迁移流程及流程图： #### **迁移流程图** ```mermaid flowchart TD A[源主机] -->|1. 预迁移检查| B[目标主机] B -->|2. 资源预留| C[创建空虚拟机] C -->|3. 迭代内存迁移| D[传输内存页] D -->|4. 脏页跟踪| E{脏页率<br>是否达标?} E -->|否| D E -->|是| F[暂停源虚拟机] F -->|5. 状态同步| G[传输剩余脏页+设备状态] G -->|6. 目标机激活| H[启动目标虚拟机] H -->|7. 清理| I[释放源主机资源] ``` #### **详细步骤解析** 1. **预迁移阶段（Pre-migration）** - 源主机QEMU进程通过`ioctl(KVM_CHECK_MIGRATION)`验证虚拟机是否可迁移[^3]。 - 目标主机创建相同配置的空虚拟机（QEMU-KVM进程），但不启动CPU线程[^1]。 2. **迭代内存迁移（Iterative Memory Copy）** - 源主机QEMU通过`ioctl(KVM_GET_DIRTY_LOG)`获取脏页位图[^2]。 - 仅传输被修改的内存页（脏页），未修改页面直接复用。 - 循环执行直到脏页率低于阈值（通常<0.1%）。 3. **停机状态同步（Stop-and-Copy）** - 源主机暂停虚拟机：KVM冻结所有vCPU线程[^1]。 - 传输剩余脏页+完整设备状态： - CPU寄存器：通过`ioctl(KVM_GET_REGS)`获取[^2] - 设备状态：QEMU序列化模拟设备（磁盘/网卡等）到内存缓冲区[^3] - 目标主机加载状态并恢复vCPU线程。 4. **迁移完成（Commit）** - 目标主机QEMU发送迁移完成信号。 - 源主机销毁原虚拟机进程，释放内存和资源[^1]。 - 网络流量自动重定向到目标主机（通过ARP更新）。 #### **关键机制说明** - **脏页跟踪**： KVM在EPT/NPT页表中标记写保护页，当客户机修改内存时触发VMExit，KVM记录脏页位置[^2]。 - **设备状态迁移**： QEMU调用每个模拟设备的`save_state`回调函数（如网卡缓存、磁盘未完成IO），序列化为二进制流传输[^3]。 - **零停机优化**： 使用`Post-Copy`模式：先迁移CPU状态快速启动目标机，后台异步拉取内存页，减少停机时间。 #### **典型性能瓶颈** 1. **内存脏页率**：高负载虚拟机脏页生成速度快于网络传输速度。 2. **设备状态大小**：GPU等复杂设备状态序列化耗时长。 3. **网络带宽**：千兆网络迁移8GB内存虚拟机约需60-90秒。 > 迁移成功率依赖设备模拟的兼容性。例如使用virtio-blk/virtio-net等标准设备可确保目标主机状态还原一致性[^3]。 --- ### 相关问题 1. 如何通过预拷贝（Pre-copy）和后期拷贝（Post-copy）优化迁移停机时间？ 2. 虚拟机迁移过程中如何保证存储设备的数据一致性？ 3. KVM的脏页跟踪机制在CPU虚拟化层面如何实现？ 4. 迁移失败时有哪些回滚机制保障业务连续性？
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值