33、利用 TensorFlow 并行化神经网络训练

利用 TensorFlow 并行化神经网络训练

1. 为何选择 TensorFlow

GPU 在价格约为现代 CPU 的 65% 时，拥有多 272 倍的核心，每秒浮点计算能力约是 CPU 的 10 倍。但为 GPU 编写代码并不像在 Python 解释器中执行代码那么简单，虽然有 CUDA 和 OpenCL 等特殊包，但它们并非实现和运行机器学习算法的最便捷环境，而 TensorFlow 正是为此开发的。

TensorFlow 是一个可扩展的多平台编程接口，用于实现和运行机器学习算法，包括深度学习的便捷包装器。它由 Google Brain 团队的研究人员和工程师开发，主要由 Google 的团队主导，但也有开源社区的众多贡献。最初为 Google 内部使用，2015 年 11 月以宽松的开源许可证发布，许多学术界和工业界的机器学习研究人员和从业者都使用它来开发深度学习解决方案。

2. TensorFlow 的特点

• 硬件支持 ：TensorFlow 允许在 CPU 和 GPU 上执行，使用 GPU 时性能最佳。它官方支持 CUDA 启用的 GPU，对 OpenCL 设备的支持仍处于实验阶段，但不久后可能会正式支持。
• 编程语言接口 ：目前支持多种编程语言的前端接口。Python API 是最完整的，吸引了众多机器学习和深度学习从业者。此外，还有官方的 C++ API，以及专注于在浏览器、移动和物联网设备上运行和部署模型的 TensorFlow.js 和 TensorFlow Lite。Java、Haskell、Node.js 和 Go 等语言的