tensorflow分布式的原理、架构以及更新参数模式

一、定义
分布式Tensorflow是由高性能的gRPC框架作为底层技术来支持的。这是一个通信框架gRPC(google remote procedure call)，是一个高性能、跨平台的RPC框架。RPC协议，即远程过程调用协议，是指通过网络从远程计算机程序上请求服务。
RPC框架：远程过程调用，相当于是对底层协议的一个封装，解决一些传输错误和同步的问题，例如视频会议这些都需要用到RPC框架。
分布式系统：hadoop、tensorflow
二、计算机网络七层模型
（一）应用层 http协议
（二）表示层
（三）会话层
（四）传输层 tcp/udp
（五）网络 ip
（六）数据链路层 ppp
（七）物理层 rj45
三、分布式原理

（一）单机多卡：指单台服务器有多快GPU设备，运算速度GPU>CPU。假设一台机器上有4块GPU，单机多GPU的训练过程如下：
1、在单机单GPU的训练中，数据是一个batch一个batch的训练。在单机多GPU中，数据一次处理4个batch（假设是4个GPU训练），每个GPU处理一个batch的数据计算。
2、变量，或者说参数，保存在CPU上。数据由CPU分发给4个GPU，在GPU上完成计算，得到每个批次要更新的梯度