TensorFlow白皮书读后感

DistBelief作为Google Brain团队研发的第一代分布式机器学习系统,其后续版本TensorFlow在分布式计算方面进行了重大改进,不仅支持多种设备如CPU和GPU,并且可以在不同平台上运行。TensorFlow采用编程模型来描述计算任务,通过图的方式表达计算流程,使得任务能够在多个节点间高效地分布执行。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Google Brain 出品的第一代分布式机器学习的系统名叫 DistBelief,TensorFlow 是他的二代改良版,针对真对学习做了特殊优化。支持单机/单机多卡/集群,支持不同平台,如 CPU/GPU,iOS/Android,支持 Python/C++调用接口。

  • 编程模型使用图的方式,好处是 tf 可以通过 placement 算法将图放入不同节点(如果是多个 device)
  • 数据在图中以流的方式传递
  • Variables 都有相应的 backup 节点
  • 不同的 Device 对图中边做修改,增加 Send/Recv 节点,worker 直接控制下一个是哪个 device 运行,降低了 master 的任务量,便于扩容
  • 可以在图中定义 node 在哪个/哪种 device 上运行,可以定义哪几个 node 要在一个 device 上运行,可以优化空间,减少传输
  • 占坑,明儿继续
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值