百度宣布将在Kubernetes上运行其深度学习平台PaddlePaddle

探索K8S的绝佳选择:Killercoda与Play-with-K8s在线练习平台 大家好,近年来Kubernetes(K8S)作为容器编排的瑞士军刀,已经成为云原生技术的代表之一。学习K8S是现代云计算领域不可或缺的一部分,但很多人可能面临一个问题——如何高效地学习K8S,尤其是缺乏实践环境的初学者。好消息来啦!今天我们向大家推荐两款爆款在线K8S练习平台——Killercoda和,让你轻松玩转Kubernetes,无压力成为K8S高手! 阅读详情

本月初,Kubernetes在其官网上宣布了百度的PaddlePaddle成为目前唯一官方支持Kubernetes的深度学习框架。PaddlePaddle是百度于2016年9月开源的一款深度学习平台,具有易用,高效,灵活和可伸缩等特点,为百度内部多项产品提供深度学习算法支持。两个开源项目的结合意味着深度学习对于广大开发者正变得“触手可及”。还有呢?

一、编者按

AlphaGo 围棋之战引燃了人工智能,也激发了技术圈的研究热情;江湖传言其单个训练作业要依赖数千个GPU,而更有人猜测规模恐怕远超于此,纵然Google对其使用的集群规模等技术细节三缄其口,也没有阻挡住技术人探索的脚步。机器 / 深度学习作为人工智能领域中的重要分支,有着如 TensorFlow、Torch、Theano、Caffe等不少的开源项目,PaddlePaddle(PArallel Distributed Deep LEarning)是百度于2016年9月开源的一款深度学习平台,具有易用,高效,灵活和可伸缩等特点,为百度内部多项产品提供深度学习算法支持。

这套打磨逾三年的技术,需要在大规模集群上进行分布式作业。如何启动系统并将分散的资源和众多的学习任务良好匹配是一个无法回避的技术问题。问题总是相似的,容器技术也面临着如何简单地管理好分散的物理计算资源这个难题。解决方案之一Kubernetes是Google为生产环境设计的开源的容器管理调度系统。

本月初,Kubernetes在其官网上宣布了百度的PaddlePaddle成为目前唯一官方支持Kubernetes的深度学习框架。两个开源项目的结合意味着深度学习对于广大开发者正变得“触手可及”。为什么会有这样的组合?PaddlePaddle on Kubernetes的意味着什么?如何看待深度学习拥抱容器技术?带着这些问题InfoQ采访了博客文章的原作者百度王益和CoreOS李响探求更多的技术内容,同时还采访了Kubernetes Project Manager、HyperHQ项目成员 张磊,本文整理自三位嘉宾的采访素材。

二、大规模深度学习遭遇痛点

在人工智能专家王益博士看来,现代的人工智能是建立在大数据基础之上的,而大数据的主要来源有两个:互联网服务的log(记录用户行为)以及通过各种crawler采集的外部数据。在具体落地上,对于工业级应用,需要把从Web服务到内外部数据收集和处理的整个通道,都与AI建设在一个机群上,才能实现高效的知识提取,然后将结果反馈从而提升服务质量。

在百度,分布式深度学习平台PaddlePaddle在徐伟博士的带领下经过三年多研发和打磨,已经应用于包括搜索、翻译、电商和计算基础架构等方面共五十余个应用,该项目现已开源。王益在成为百度PaddlePaddle团队负责人之后,非常希望该项目可以更容易地部署与运行。

王益在与李响等容器专家们的交流讨论之后,PaddlePaddle on Kubernetes项目于2016年10月拉开帷幕。

Kubernetes可谓容器生态圈的当红明星,业界甚至有人断言 “Kubernetes已经赢得了容器生态的圈地战争”;在李响看来,Kubernetes将会是今后的云管理平台的统治者。

PaddlePaddle on Kubernetes也恰好符合于Kubernetes社区所喜闻乐见的,后者希望将一些流行的应用在Kubernetes上原生运行起来,可以让更多人感受到Kubernetes的神奇之处。

三、Kubernetes被用来做哪些事情?

Kubernetes 把很多分散的物理计算资源抽象成一个巨大的资源池,它利用这些资源来帮助用户执行计算任务。对于用户来说,操作一个分散的集群资源可以像使用一台计算机一样简单。

对于这个项目,Kubernetes 主要负责将学习任务分配到集群的物理节点上进行运算;如果遇到任务失败的情况,Kubernetes 会自动重启任务。

具体而言,技术层面需要通过实现fault-tolerable的训练——AI作业在进程数量发生变化的时候不要暂停或者失败——来实现机群里各个作业的auto-scaling。Kubernetes可以把很多并发进程组织成service,并且实现auto scaling——白天用户数量多的时候,增加Web service里的进程数,减少AI作业的进程数。晚上减少Web service里的进程数,释放资源给AI作业。

四、为什么是Kubernetes,而不是其他?

除了Kubernetes之外,还有Mesos、Fleet和Swarm等容器调度方案。目前还没有一个开源深度学习框架和Kubernetes深度结合,那为什么百度选择了Kubernetes呢?

在王益看来,现有容器调度方案们各有千秋,但是PaddlePaddle兼容Kubernetes是开源社区用户的选择。

PaddlePaddle最初在百度的集群上运行。但是PaddlePaddle并不依赖特定的并行计算平台——只要有办法在一个平台上启动PaddlePaddle,就可以运行分布式训练作业。百度的大数据团队(BDG)的同学们做了一套PaddlePaddle on Spark系统,确保PaddlePaddle和Spark的兼容。而PaddlePaddle on Kubernetes 要感谢社区贡献了。

到目前为止,PaddlePaddle on Kubernetes的结合工作也不是百度的PaddlePaddle开发团队做的,而是由CoreOS公司的etcd项目负责人李响、百度上海JPaaS团队的周倜、陈国彦、CISCO硅谷办公室的tech lead陈曦以及百度美研ADU团队的王鹤麟做的。同时,PaddlePaddle正在和Kubernetes社区合作这项工作,王益称期待尽快给大家带来一个惊喜。

五、为什么社区技术人如此喜爱Kubernetes?

在容器圈专家张磊先生看来,相对而言,Kubernetes确实是最好的技术选择。

单纯就离线计算业务而言,“老”项目Mesos在大数据领域被大规模应用多年,固然有着明显的优势。但是,要更好地支持深度学习框架作业,Mesos的资源管理和调度能力只能说是锦上添花的功能。

能不能将框架的作业和任务模式,同“容器”这个全新的部署概念匹配起来,才是现阶段最重要的。毕竟,如果框架连正常运行起来都很困难,再好的资源利用率提升机制也没有用武之地。在这一点上,Kubernetes应该说是现有的容器管理项目中做的最好的。

就比如前面已经说过它的Pod设计,就能很好地跟Paddle的作业模型匹配:一个Pod里放两个容器,分别是参数服务器(parameter server)和训练器(trainer)。这个匹配并非巧合,而是因为Kubernetes从一开就认为容器之间往往存在像这样紧密的协作关系,这是“lesson learned from Borg”。只不过在过去,大家都只关注在容器里运行简单Web服务的时候,才会认为Pod“没什么用”。

除了Pod,Kubernetes提出的比如Replica(容器副本),Job(计算型任务),StatefulApp(有状态应用)等诸多已经被业界采纳为标准的编排概念,都体现出了这个项目在容器作业管理方面独到的技术视野(虽然还一度被国内用户诟病为理念太超前),这一点上其它项目与Kubernetes之间存在着follower和leader的差距。实际上,Kubernetes不仅简单地解决了容器业务部署和运行的问题,它还关注如何帮助用户构建容器化分布式服务这个问题,对于在容器化道路上尚需要“摸着石头过河”的用户来说,这是非常重要的。

相比之下,Docker的集群模式(Swarm模式)关注的范畴要小很多,相当于Kubernetes在应用管理方面的一个子集。它的关注重点之一是用户友好,但也为此牺牲了不少可扩展性。对于开发者而言,比如做一个PaaS,这是够用并且很方便的,但是如果要依赖于它作为基础设施、甚至在它之上再构建另一套更复杂的系统,这个集群模式就比较难胜任了,如果这中途还需要自己定制和扩展的话,会更加困难重重。

不过Kubernetes也还存在不足:首先,作为一个正在快速演进的项目,Kubernetes本身有很多特性亟待完善,说的直白一点就是潜在的坑还是很多的,这也是采用新技术的必然代价。好在Kubernetes的社区足够繁荣,一定程度上能够弥补一些。其次,相比于Swarm模式的用户友好程度,Kubernetes的Geek气息依然太浓,很多时候需要用户自己拿主意(比如“故意”不提供内置的跨主网络和分布式存储方案)。

总体上看,要支持PaddlePaddle、Tensorflow这样非云原生应用(多容器协作,甚至有状态)项目,Kubernetes目前是个最佳的选择。

六、对容器圈而言,这是一个里程碑事件

PaddlePaddle on Kubernetes项目的消息一经发布,技术圈内反响强烈。容器圈专家张磊先生,他告诉InfoQ早期的小道消息是在InfoQ的CNUTCon全球容器技术大会2016(注:王益、李响和张磊三位大牛均为大会的讲师,技术圈的学习交流社交哦~)的讲师晚宴获知的。当时对Kubernetes的roadmap有了很多讨论,后来百度JPaaS组负责了项目的实施。

在张磊看来,这次PaddlePaddle与Kubernetes框架的深度集成算得上一个里程碑事件。容器与容器编排管理技术在过去两年里的迅猛发展跟去年人工智能集中式的爆发终于产生了深度的化学反应,也让我们看到一套完善的容器编排与调度体系确实能够为技术人员带来更多价值,而非“空有热度”。这一点是非常重要的,容器热潮的兴起,源自于对的云原生应用(比如轻量级的Web服务)的完美支持,但容器云技术能否最终落地,还取决于它能不能对非云原生应用(传统服务、复杂应用)有良好的支持和扩展,深度学习框架正是非云原生应用的一个典型案例。

七、容器化实施深度学习的优点

事实上,2016年人工智能热点爆发的一个强有力推动者正是同样源自Google的Tensorflow项目,它也很早就进行了同Kubernetes的集成工作。只不过由于师出同门,Tensorflow集成的案例说服力一般。但是现在我们再参考Paddle的集成工作,我们不难看到容器编排和调度平台对于这类框架的一些独有优势。

轻量级

这个轻量级不只只是跟OpenStack比,而是因为哪怕是虚拟机,我们也可以通过HyperContainer的方式接入Kubernetes,继续对用户提供秒级的响应能力。这种敏捷性是至关重要的,我们通常都喜欢把容器跟CI/CD联系在一起,说能够快速迭代交付云云。实际上,深度学习的训练过程,才是真正对“快速迭代”有着关键需求的作业方式,在这一点上,容器的轻量级特性就凸显出来了。

更高的资源利用率

深度学习框架的最终目的是提供AI服务,而不是做“挖矿机”,所以任何一个从业者都不可能像比特币那样不计成本的投入计算资源。相比于使用物理机或者虚拟化来做计算任务的管理,容器这种操作系统层面的进程封装已经被证明能够大大提高作业的部署密度,而Borg等知名项目所提供的理论支持,也对基于容器做资源利用率的进一步提升指明了方向。

基于容器的设计模式

深度学习框架不同于常规Web服务,它有着自己独有的作业组织和部署模式,一个作业往往需要多个任务协作完成,这就对下层的容器编排和调度系统的设计提出了更高的要求。Kubernetes项目使用Pod这个概念使用户能够使用一组容器来完成一组相互协作的任务的编排。这套组织和调度容器的理论被业界成为为容器设计模式,这是基于容器支持深度学习框架另一个独有的优势,用虚拟机或者裸机都很难模拟。

高度的可扩展性和容错能力

这个不多说了,容器对于构建可扩展的分布式服务的便利程度已经被国内外企业实践过了。

八、容器化实施深度学习的挑战

容器管理技术的普及也就最近几年的时间,Kubernetes也是非常年轻的项目,无论跟哪个深度学习框架都不可能100%贴合。接下来容器管理平台要着重解决的包括:

计算型作业(Job)的管理和调度

当前Kubernetes的Job特性虽然在容器管理领域内算得上是佼佼者,但是跟已经成熟多年的大数据框架相比还差距甚远的。这一部分的功能进一步完善、甚至能直接对接大多数计算框架已经是板上钉钉的事情。

GPU支持

Kubernetes对GPU支持的投入力度一直很大,目前也走在容器管理领域的前列。但GPU支持对于主流容器技术来说也只是刚刚起步,相比于物理机器和容器对CPU资源管理的完善程度,容器平台在GPU设备管理、GPU资源共享、多GPU支持、OpenCL等GPU框架支持上还有非常多的空白需要填补。目前这些都已经出现在Kubernetes的路线图上。

更高级的资源管理

Kubernetes在资源管理模型设计上继承于Borg,但是相比于前辈强大的资源分配和共享机制,现有的模型在支持计算型任务还很初步,也不能实现离线业务和在线业务高效混部、抢占,也不支持动态的资源边界。所以这一部分的优化空间还是非常大的,对于进一步提升深度学习作业的效率也非常重要。

九、PaddlePaddle on Kubernetes项目技术细节

兜兜转转讲了很多宏观的内容,那么现在让我们看看项目的技术细节吧。

1、分布式训练

PaddlePaddle是一个诞生在工业界的系统,从一开始就强调支持分布式训练。

在PaddlePaddle诞生的年代里,并没有今天这么多的开源深度学习框架。所以PaddlePaddle的很多设计,在当时都是领先的。其中一些重要的设计决定直到今天都是很独特的。

PaddlePaddle有parameter server,但是设计思路和Google在DistBelief论文中描述的parameter server很不一样。DistBelief中的parameter server主要是为了能训练很大的模型(model parallelism)而设计的。每个trainer进程和每个parameter server进程都只拥有模型的一块(一部分)。PaddlePaddle的parameter server也支持这样的使用模式,但是这么大的模型并不常见,所以parameter server的使用模式更经常是用来加速网络通信。在这种使用模式下,每个trainer都有整个模型,但是每个parameter server只拥有模型的一部分。

通信模式如这篇博客中图一所示。

http://blog.kubernetes.io/2017/02/run-deep-learning-with-paddlepaddle-on-kubernetes.html

百度经过证明,认为这种通信模式和HPC中经过多年来持续优化的ring-based AllReduce算法的效率是一样的。而且当模型的梯度矩阵比较稀疏的时候,甚至效率更高。

之前在百度里很多训练作业的配置是:trainers进程和parameter servers进程的数量一样。但是其实不一定要是是一样的。百度希望努力做到根据机群的实际情况,自动动态启动或者杀死一些进程,使得作业的效率在规定的硬件使用下最高。Kubernetes负责将学习任务分配到集群的物理节点,并且在任务失败时,实现自动对任务进行重新启动。

2、映射还是静态的,将会实现动态

目前主流的开源深度学习框架都没有动态任务分发机制,而PaddlePaddle也还不能实现动态的协调和容错。

非动态的映射有两个缺点:

整体学习任务有可能被延迟甚至终止

在并发规模不是很大的时候,数据分片到trainer的静态映射是没问题的。但是当训练规模变大,或者训练在通用机群(general-purpose clusters)上进行的时候,经常会碰到有些trainer被更高级别作业挤压杀死的情况。此时,其他trainer(或者parameter servers)如果要等待所有trainer的gradients的话,训练作业就陷入死结(halt)了。

资源利用率不能达到最优化

在学习过程中即使有更多的资源可以使用,也不能动态的增加资源。

王益称PaddlePaddle已经有一个design doc来实现任务的动态分配——引入一个master进程,负责把逻辑数据分片分发给“活着的”trainers进程。这个设计同时考虑到如何用类似Google MapReduce框架的做法,实现训练作业的“不死”——即便一些trainers或者parameter servers被杀了(抢占了),训练作业也能继续进行,只是速度稍慢。当机群上其他高优先级作业结束之后,Kubernetes会增加作业里的trainers数量,此时作业的进行速度也就自然更快了。

李响称希望今后利用 etcd 这样的分布式协调系统来专门为 PaddlePaddle 设计一个全局动态管理者组件。这个组件可以帮助 PaddlePaddle 动态地调节资源使用,在集群中有剩余资源的情况下增多学习者,对完成的部分任务设置检查点等等。

十、未来,敬请期待

对百度而言,PaddlePaddle的目标从来都不是一统江湖,他们认为只有通过鼓励新的创新不断出现,才能维护好整个深度学习社区的健康。这样PaddlePaddle也才有机会借鉴和学习新的创新思路。PaddlePaddle只有一个版本,内外部都使用开源版本。百度不会做openwashing(伪开放)。

当然,没有完美的系统。和很多项目一样,PaddlePaddle面临着不断增加新功能和维持好代码的精炼简洁之间的矛盾。百度告诉InfoQ通过借鉴Keras、mxnet、和DyNet的长处,最近在重构PaddlePaddle的API,接下来要重构分布式计算方法。希望持续保持好PaddlePaddle的健康状态,并期待三月初给大家带来一个更加易学易用的PaddlePaddle。

PaddlePaddle on Kubernetes这个项目的执行,是社区的功劳,而并非百度PaddlePaddle团队成员的工作。PaddlePaddle社区会努力和Kubernetes进一步深化合作,把深度学习对机群管理的需求不断提给Kubernetes社区,帮助Kubernetes在支持Web服务和数据处理之后,也支持好AI。

对于 PaddlePaddle 和 Kubernetes 融合这个项目来说,在当下更关注的是对开发者友好,因为在初级阶段,需要的是更快速地迭代开发普适的功能,而不是局限于去支持现有特定的企业级应用。当项目收获到越来越多开发者反馈的时候,逐渐成熟并具备强稳定性时,才会考虑根据企业具体情况增加功能。

作者介绍

王益,现任百度深度学习研究院资深科学家,超大规模人工智能系统专家。曾是硅谷AI创业公司Scaled Inference创始科学家,LinkedIn高级主任数据科学家,腾讯社交广告技术总监,Google研究员。2012年开发的Peacock系统是语意理解系统的世界纪录保持者,利用三千CPU从数百TB数据中归纳和理解一百万小众语意。

李响,CoreOS分布式项目主管,开源项目etcd作者。目前负责Kubernetes、etcd等分布式系统相关项目在CoreOS的开发工作,主要兴趣在于分布式一致协议、分布式存储、分布式系统调度等。

张磊,HyperHQ项目成员,Kubernetes Project Manager和Feature Maintainer。曾任浙江大学科研人员并著有技术书籍《Docker容器与容器云》。目前主要关注大规模容器集群管理和虚拟化容器运行时技术。



作者:Sting
链接:https://www.jianshu.com/p/5e8d0cfc00cc
來源:简书
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
Python-FabricforDeepLearning一个深度学习平台提供Kubernetes上的TensorFlowCaffePyTorch等 Fabric for Deep Learning 一个深度学习平台,提供Kubernetes上的TensorFlow,Caffe,PyTorch等 立即下载

相关推荐

从零开始:用AutoLisp为AutoCAD定制专属工具栏(2023最新版)

本文详细介绍了如何利用AutoLisp语言为AutoCAD定制专属工具栏,以提升绘图效率。内容涵盖从环境配置、AutoLisp基础语法到实战开发的全过程,指导用户编写自动化脚本、封装功能函数,并最终通过CUI编辑器创建和部署个性化工具栏按钮,是2023年CAD用户实现工作流自动化与个性化的实用指南。

4k5l6j7h8的博客 303

跑在Kubernetes上的开源深度学习,百度这次带来了哪些技术看点?

作者|王益、李响、张磊编辑|木环本月初,Kubernetes在其官网上宣布了百度的PaddlePaddle成为目前唯一官方支持Kubernetes的深度学习框架。PaddlePaddle是百度于2016年9月开源的一款深度学习平台,具有易用,高效,灵活和可伸缩等特点,为百度内部多项产品提供深度学习算法支持。两个开源项目的结合意味着深度学习对于广大开发者正变得“触手可及”。还有呢?1 编者按Alph...

weixin_34087307的博客 383

HBF凭什么能挑战HBM?

最近AI圈聊得最多的,除了大模型迭代,就是“算力瓶颈”。大家都知道GPU不够用、HBM抢疯了,但很少有人注意到,存储层正在酝酿一场革命——高带宽闪存(HBF)。今天就结合HBM之父Joungho Kim教授的最新观点,跟大家好好盘盘这门技术:它不是HBM的替代品,却可能重塑AI推理的游戏规则,甚至在2038年超越HBM市场规模。先澄清一个核心认知:HBF不是凭空冒出来的新技术,而是站在HBM肩膀上的“优化款”。

存储随笔 2131

一站式学K8s 学习网站,让你轻松掌握!

Kubernetes(简称K8s)是一个开源的容器编排平台,最初由Google工程师作为Borg项目开发和设计,后于2015年捐赠给云原生计算基金会(CNCF)。它是用于管理云平台中多个主机上的容器化应用的系统,旨在让部署容器化的应用变得简单并且高效。

qq_45746668的博客 2059

从零到英雄:Spring Boot 微服务架构全攻略

在数字化转型的时代,微服务架构已成为构建可扩展、高可用系统的首选方案。本文以“从零到英雄”为主题,详细指导读者使用Spring Boot快速构建微服务帝国。从基础环境搭建入手,逐步深入到服务发现、配置管理、负载均衡、断路器、API网关、安全认证、监控与部署等核心模块。通过大量代码示例和详细解释,包括中文注释,帮助初学者和中级开发者掌握Spring Boot的核心概念和技术实践。文章强调实际操作,涵盖RESTful API开发、数据库集成、容器化部署等内容,并讨论常见问题与优化策略。无论你是Java开发者还是

一个被知识诅咒的人 2701

自动化学报latex模板——ctex2.4.6和ctex2.9.2直接使用步骤

自动化学报latex模板——ctex2.4.6和ctex2.9.2直接使用步骤 1.背景及问题 最近在使用自动化学报latex模板写作业时,一只对latex搞不清楚,网上关于各种版本的latex下载了一堆(比如ctex中文套装方案的各个版本及texlive+texstudio方案,中间还升级了miktex,windet等),发现都未能成功编译出来自动化学报的latex模板,反正开始头很大!!!最后终于没忍住打开了: 自动化学报官网下载模板链接,因为我就要用latex模板(不能服输!)找到的解决方案是:使用

QIANFANGshiwo的博客 7712

从零在单机上搭建k8s ,kubeflow1.7机器学习平台(国内环境)

折腾了好几天,写下这篇博客记录,希望能帮助需要的人。

king_super123的博客 3880

基于FPGA 外置qspi Flash的读写

fpga上实现flash读写代码

weixin_43498765的博客 4957

K8S在线练习平台

Katacoda - Interactive Learning Platform for Software Engineershttps://www.katacoda.com/

小诸葛的博客 929

Wiley:International Journal for Numerical Methods in Biomedical Engineering投稿流程

中间过程省略,这个出版社很人性化,投稿的web UI也很好看。上传word之后,一步步跟着走就行,不用填太多东西。不要最后在最后检查阶段,重新上传word文件,这样会导致,之前针对word的操作全部改变。

Everyday try to become better -Kobe Bryant 2546

使用 Python 爬虫抓取 IMDb 电影信息 - 评分、评论与基本信息抓取教程

本文介绍了如何使用 Python 爬虫技术抓取 IMDb 电影评分、评论和基本信息。我们分别展示了通过IMDb API和两种方法抓取数据,并进行了数据存储、分析与可视化。在未来,我们还可以基于这些数据开发电影推荐系统、情感分析工具等,进一步丰富电影数据的应用场景。通过这些实践,您不仅学会了如何抓取和存储数据,还可以通过这些基础来构建自己的数据分析应用,获取更丰富的电影数据。

2201_76125261的博客 601

当深度学习遇到K8s

编者注:本文由来自百度深度学习团队和CoreOS的Etcd团队共同编写 PaddlePaddle是什么 PaddlePaddle是一款由百度原生打造的易用、高效、灵活、可扩展的深度学习平台,从2014年开始应用在百度各个涉及深度学习的产品上。 PaddlePaddle支持了百度搜索引擎、在线广告、问答(Q&A)以及系统安全等15个产品,创造了超过50项革新。 2

Kubernetes中文社区 3803

Python爬虫实战:爬取500+网易云热门歌单,我摸清了全网最火的音乐规律

曲风:流行是主流,“情绪价值”比单纯曲风更重要;歌名:感性、场景化的歌名,更受用户偏爱。这次实战让我明白,Python不是冰冷的代码,而是能帮我们看清生活中隐藏规律的工具。从每天刷的歌单里,用爬虫和数据分析挖出用户的真实偏好,不仅满足了好奇心,还实实在在练会了技能。新手朋友可以从这个项目入手,既练习了爬虫基础,又学会了数据分析的核心逻辑,还能结合自己的音乐兴趣理解数据的意义。现在打开PyCharm,跟着代码跑一遍,你也能从网易云的热门歌单里,挖出属于自己的“音乐规律”!

专注于Python爬虫开发,分享爬虫技巧、项目实战与反爬经验,使用Scrapy、BeautifulSoup等工具,解决数据抓取难题。 1891

PaddlePaddle 中文名「飞桨」重磅公布,百度发布一亿元免费算力计划

  AI 科技评论按,今日,首届 WAVE SUMMIT 2019 深度学习开发者峰会在北京举办,会上,来自工业界的多家展商展示了基于 PaddlePaddle 训练的包括瓷器质检、遥感影像目标检测与语义分割、轴承外观缺陷检测等多个系统,百度高级副总裁、深度学习技术及应用国家工程实验室主任王海峰,百度深度学习技术平台部总监马艳军均上台发言,分别阐述了深度学习在智能时代的重...

weixin_34407348的博客 387

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

PaddlePaddle 中文名「飞桨」重磅公布,百度发布一亿元免费算力计划 ...

雷锋网 AI 科技评论按,今日,首届 WAVE SUMMIT 2019 深度学习开发者峰会在北京举办,会上,来自工业界的多家展商展示了基于 PaddlePaddle 训练的包括瓷器质检、遥感影像目标检测与语义分割、轴承外观缺陷检测等多个系统,百度高级副总裁、深度学习技术及应用国家工程实验室主任王海峰,百度深度学习技术平台部总监马艳军均上台发言,分别阐述了...

weixin_34072458的博客 720

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

WAVE SUMMIT 2019深度学习开发者峰会,百度PaddlePaddle亮成绩单

深度学习正在迎来它的高光时刻。4月23日,首届 WAVE SUMMIT 2019深度学习开发者峰会在北京举办,过千位“慕名而来”的开发者与 AI 专家、学者一道见证了国内真正意义上第一场深度学习开发者盛会。 会上,百度高级副总裁、深度学习技术及应用国家工程实验室主任王海峰表示,“深度学习推动人工智能进入工业大生产阶段,而深度学习框架是智能时代的操作系统。” 王海峰认为,深度学习技术已经具备了很...

PaddlePaddle 1482

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

paddlepaddle测试安装_百度飞桨(PaddlePaddle)分布式训练在Volcano系统上的实践

飞桨(PaddlePaddle)是百度于2016年9月开源的深度学习框架,旨在提供一款安全高效、灵活易用、可扩展的深度学习平台。2018年10月,飞桨团队发布Paddle Fluid 1.0版本,对神经网络描述、大规模分布式训练、高性能推理引擎等核心能力进行了全面升级。以工业界应用必需的分布式训练能力为例,在最新的Paddle Fluid 1.5.2版本中,飞桨支持数据并行、模型并行、流...

weixin_29014939的博客 594

paddlepaddle测试安装_百度飞桨(PaddlePaddle)分布式训练在 Volcano 系统上的实践

来源 | 容器魔方公众号飞桨 (PaddlePaddle) 是百度于 2016 年 9 月开源的深度学习框架,旨在提供一款安全高效、灵活易用、可扩展的深度学习平台。2018 年 10 月,飞桨团队发布 Paddle Fluid 1.0 版本,对神经网络描述、大规模分布式训练、高性能推理引擎等核心能力进行了全面升级。以工业界应用必需的分布式训练能力为例,在最新的 Paddle Fluid ...

weixin_29665183的博客 581

百度PaddlePaddle有中文名了 同步更新11项新特性及服务

【TechWeb】4月23日,百度开源深度学习平台PaddlePaddle今日发布其官方中文名“飞桨”,同时正式发布11项新特性及服务。 百度在2013年即设立全球首个深度学习研究院,2016年百度PaddlePaddle 正式开源,成为中国首个也是目前国内唯一开源开放、功能完备的端到端深度学习平台。 现场,百度深度学习技术平台...

优快云头条 540

PaddlePaddle在百度云BML平台的一键训练功能

百度智能云BML平台推出PaddlePaddle一键训练功能,简化AI开发流程。无需配置环境,用户上传代码和数据后,可自动调度GPU资源、运行训练任务并保存模型。平台集成中文优化模型库与工业级工具链,支持断点续训与弹性资源管理,显著提升开发效率,助力企业快速落地OCR、NLP等中文场景应用。

weixin_42465140的博客 723

PaddlePaddle镜像部署Kubernetes集群的最佳实践

将PaddlePaddle与Kubernetes结合,构建稳定、可扩展的AI推理服务。通过定制化镜像、GPU资源调度、弹性伸缩和全链路监控,实现高并发场景下的高效运维。结合GitOps实现持续交付,推动AI从实验走向工业化落地。

weixin_36184718的博客 962

PaddlePaddle镜像如何实现模型弹性伸缩?K8s HPA配置

通过将PaddlePaddle模型封装为Docker镜像并部署在Kubernetes上,结合HPA实现自动扩缩容,有效应对流量高峰与资源浪费问题。利用CPU、内存或自定义指标动态调整Pod副本数,已在OCR识别、舆情分析等场景中验证其高效性与成本优势。

weixin_35649491的博客 609

PaddlePaddle与Kubernetes强强联合 助力深度学习模型高效运转

2月8日,Kubernetes社区宣布由百度原创开发的开源深度学习框架PaddlePaddle将兼容集群管理系统Kubernetes,使PaddlePaddle成为迄今为止唯一正式支持 Kubernetes的深度学习框架。此次兼容将使开发者能够便捷地在全球主要云服务以及私有集群 (on-premise clusters) 上做大规模深度学习训练。该项目由百度和CoreOS联合开发,同时CoreOS...

AI早餐汇 292

2019,那些属于飞桨的重要时刻

2019已经悄然落幕,在过去一年中,飞桨加速崛起,在产品性能上高效迭代,并屡次斩获多项大奖,其取得的成绩有目共睹,这也意味着飞桨正领衔中国深度学习框架迎来高光时刻。现在,让我们一起来回顾...

PaddlePaddle 893

PaddlePaddle Fluid:弹性深度学习在Kubernetes中的实践

【编者的话】今天的帖子是百度深度学习团队和CoreOS的etcd团队的联合写的。两个开源社区PaddlePaddle(深度学习框架源于百度)和Kubernetes(最著名的容器化应用程序调度器)在PaddlePaddle的新版本Fluid中发布了弹性深度学习(EDL)功能。Fluid EDL包括一个Kubernetes控制器,PaddlePaddle自动缩放器,根据集群中的空闲硬件资源改变分布式作业

langhailove_2008的博客 2561
上一篇: Kubernetes技术分析之资源管理
下一篇: Kubernetes 详解
hxpjava1
博客等级 码龄19年 1365粉丝 511原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值