65、使用GPU加速计算

使用GPU加速计算

1. 为何使用GPU加速

在训练大型神经网络时，即使采用了如更好的权重初始化、批量归一化以及复杂的优化器等技术，在单台配备单个CPU的机器上进行训练仍可能需要数天甚至数周的时间。而使用GPU，训练算法可能只需几分钟或几小时就能完成，这不仅能节省大量时间，还能让你更轻松地尝试各种模型，并频繁地使用新数据重新训练模型。

通常，在单台机器上添加GPU卡就能显著提升性能。例如，在单台机器上使用四块GPU训练神经网络的速度，往往与在多台机器上使用八块GPU相当，因为分布式设置中的网络通信会带来额外延迟。同样，使用单个强大的GPU通常比使用多个性能较弱的GPU更可取。

2. 获取GPU的途径

2.1 购买自己的GPU

如果你选择购买GPU卡，需要谨慎做出选择。目前，TensorFlow仅支持具有CUDA计算能力3.5及以上的Nvidia显卡（当然也支持Google的TPU），不过未来可能会扩展对其他制造商的支持。

若选择Nvidia GPU卡，你需要安装相应的Nvidia驱动和几个Nvidia库，包括：
- CUDA（Compute Unified Device Architecture） ：允许开发者使用支持CUDA的GPU进行各种计算，而不仅仅是图形加速。
- cuDNN（CUDA Deep Neural Network） ：一个用于深度神经网络的GPU加速库，提供了常见DNN计算的优化实现，如激活层、归一化、前后向卷积和池化等。它是Nvidia深度学习SDK的一部分，你需要创建一个Nvidia开发者账户才