keras 多gpu并行运行

一、多张gpu的卡上使用keras
有多张gpu卡时，推荐使用tensorflow 作为后端。使用多张gpu运行model，可以分为两种情况，一是数据并行，二是设备并行。

二、数据并行
数据并行将目标模型在多个设备上各复制一份，并使用每个设备上的复制品处理整个数据集的不同部分数据。
利用multi_gpu_model实现

keras.utils.multi_gpu_model(model, gpus=None, cpu_merge=True, cpu_relocation=False)

具体来说，该功能实现了单机多 GPU 数据并行性。 它的工作原理如下：

将模型的输入分成多个子批次。
在每个子批次上应用模型副本。 每个模型副本都在专用 GPU 上执行。
将结果（在 CPU 上）连接成一个大批量。
例如， 如果你的 batch_size 是 64，且你使用 gpus=2， 那么我们将把输入分为两个 32 个样本的子批次， 在 1 个 GPU 上处理 1 个子批次，然后返回完整批次的 64 个处理过的样本。

参数

model: 一个 Keras 模型实例。为了避免OOM错误，该模型可以建立在 CPU 上， 详见下面的使用样例。
gpus: 整数 >= 2 或整数列表，创建模型副本的 GPU 数量， 或 GPU ID 的列表。
cpu_merge: 一个布尔值，用于标识是否强制合并 CPU 范围内的模型权重。
cpu_relocation: 一个布尔值，用来确定是否在 CPU 的范围内创建模型的权重。如果模型没有在任何一个设备范围内定义，您仍然可以通过激活这个选项来拯救它。
返回</