tianpeixun的博客

gpu运行原理一、单机多gpu运行原理1.1 单机多卡并行机制：1.2 具体实现二、多机多gpu集群运行原理-分布式计算 一、单机多gpu运行原理 1.1 单机多卡并行机制： 首先是将模型加载到主GPU，然后将模型复制到其他指定的GPU，接着把输入数据按batch维度划分给各个GPU去计算（batch_size_per_gpu=total_batch_size / num_gpu），各个GPU上的模型和数据独立进行前向推理计算，得到结果（loss）后汇总到主gpu上反向传播更新模型权重，再将主GPU模型更新

gpu选择，有两件+2点事情比较重要一、显存二、计算的能力1. GFlops：每秒钟，完成的浮点数运算。2. 高端的型号，它计算核的个数多些、显存多、计算快些。三、1点：价格三、2点：gpu的厂商 一、显存 二、计算的能力 1. GFlops：每秒钟，完成的浮点数运算。 2. 高端的型号，它计算核的个数多些、显存多、计算快些。 三、1点：价格 三、2点：gpu的厂商 1. NVIDIA GPU 2. AMD，Intel，苹果，手机gpu。AMD的gpu游戏端做的好 这里我们所说的gpu，特指NV

问题总结 神经网络在gpu训练，device注意事项 神经网络如何使用gpu话题 神经网络第n层推理，与训练怎么使用gpu的问题 在gpu上做运算，把cpu数据挪到CPU上 只要所有操作数据在gpu上，所有的操作也会在gpu上完成 只要所有操作数据在gpu上，所有的操作也会在gpu上完成。 如果数据不在gpu上你需要手动copy然后在运行，如果你有多个gpu话，你需要保证操作的数据在同一个gpu去运行 神经网络需要在一个gpu上做运算，你需要把它权重copy 深度网络gpu运行知