为什么我用Go写机器学习部署平台,而偏偏不用Python?

混合方案:Go 数据处理 + Python 模型训练 + C# 部署 —— 实现高效的机器学习工作流 Go 数据处理:Go 作为高效的并发语言,适合进行大规模数据处理、预处理、清洗、特征工程等任务。我们可以利用 Go 的并发特性处理和转化大量数据。Python 模型训练:Python 是当前机器学习和数据科学领域的主流语言,拥有强大的库(如 TensorFlow、Scikit-learn、PyTorch 等),适合进行复杂的模型训练、调优和评估。C# 部署:C# 是企业级应用的主流语言,适用于构建稳定的、可扩展的生产环境应用。在部署机器学习模型时,C# 可以作为生产系统的接口,提供高性能的推理服务。 阅读详情

转自新智元,编辑:鹏飞

虽然在机器学习中,Python已经无孔不入。但Python并不是全能之神手中的魔杖可以为所欲为。很多情况下其实用Python的效果并不如其他语言,比如Go更好,甚至可能更糟。本文介绍了为什么在作者的工作环境下选择Go而非Python的理由,引发社区关注和热议。

编程语言就是一个江湖,永远有人觊觎霸主的位子。

Python如今却稳坐编程语言界的霸主,尤其是在机器学习领域,所有主流机器学习框架都在用Python。

然而即使是被绝大多数人认可的Python,也并非真的无所不能,也有让其无能为力、无中生有的情况。

Python引以为豪的机器学习算法,只是机器学习系统的一个组成部分。要实际大规模运行生产机器学习API,还需要实现以下功能的基础架构:

自动缩放,以便流量波动不会破坏您的APIAPI管理,以处理的API部署滚动更新,以便您可以在更新模型的同时仍为用户提供服务

对于像Cortex这样的开源机器学习部署平台,旨在使所有这些基础架构自动化,以及日志记录和成本优化等其他方面的关注,作者Caleb Kaiser认为相比Python而言,Go更合。

相比于出身寒门、一个应届生的圣诞节无聊之作的Python,Go语言出自Google,作者是三位宗师级人物:Rob Pike、Ken Thompson 和 Robert Griesemer。在以下方面超越了Python:

并发对于机器学习基础架构至关重要

用户可以将许多不同的模型部署为不同的API,所有模型都在同一个Cortex集群中进行管理。

为了让Cortex Operator能够管理这些不同的部署,需要纠缠一些不同的API。

Cortex调用Kubernetes API在集群上部署模型;同时也需要考虑各种AWS API(EC2 Auto Scaling,S3,CloudWatch等)

用户不会直接与任何这些API进行交互,取而代之的是,Cortex以编程方式调用这些API来供应集群,启动部署和监视API。

以一种有效,可靠的方式进行所有这些重叠的API调用是一个挑战。

同时处理它们是最有效的处理方式,但同时也引入了复杂性,因为现在我们不得不担心诸如竞赛条件之类的事情.Go有一个优雅的,开箱即用的解决方案来解决这个问题:Goroutines。

Goroutines是正常的Go并发执行的功能。许多Goroutine可以放在一个OS线程上,如果Goroutine阻塞了OS线程,则Go运行时会自动将其余Goroutines移至新的OS线程。

Goroutines还提供了一个称为“通道”的功能,允许Goroutines执行在彼此之间传递消息,使我们能够调度请求并避免出现竞争情况。

使用asyncio等最新工具在Python中实现所有这些功能可能是可行的,但是Go的设计充分考虑了这种用例,这一事实使我们的生活变得更加轻松。

在Go中构建跨平台CLI更容易

Cortex CLI是一种跨平台工具,允许用户直接从命令行部署模型和管理API。

下面的GIF显示了正在使用的CLI:

事实证明,Python编写的CLI尝试在各种平台之间分发太困难了。

因为Go可以编译成一个二进制文件(不需要依赖管理),所以它为我们提供了一个在平台之间分发CLI的简单解决方案,而无需进行过多的工程工作。经过编译的Go二进制文件和解释型语言的性能优势也很明显。

根据计算机基准测试游戏,Go的运行速度比Python快得多。许多其他基础结构CLI工具都是用Go编写的,这并非巧合,这使我们进入了下一步。

Go生态系统非常适合基础设施项目

开源的好处之一是,您可以从自己欣赏的项目中学习。 例如,Cortex存在于Kubernetes(本身用Go编写)生态系统中。 我们很幸运能够在该生态系统中学习到许多出色的开源项目,其中包括:

  • kubectl:Kubernetes的CLI

  • minikube:一种在本地运行Kubernetes的工具

  • helm:Kubernetes程序包经理

  • kops:用于管理生产Kubernetes的工具

  • eksctl:Amazon EKS的官方CLI

以上所有内容都是用Go语言编写的,而不仅仅是Kubernetes项目。

无论你是在看CockroachDB还是Hashicorp的基础设施项目,包括Vault,Nomad,Terraform,Consul和Packer,它们都是用Go编写的。

Go在基础设施领域的流行还有另一个影响,这就是大多数工程师都感兴趣!在基础架构方面工作的人对Go很熟悉,这使得吸引工程师更加容易。

用Go是一种乐趣

相对于Python,Go入门起来有点痛苦,但这是指暂时的。一旦你跨越了门槛,进入Go的世界里,你会发现简直是“一马平川”。

Go宽容的性格使它对于大型项目而言如此令人愉悦。

除此以外,相比Python,Go的优势还体现在:

  • 拥有非常棒的编译器,编译器可以检测出你犯的所有低级错误

  • 更好的并行性。Go 语言就是为并行而生的

  • 部署简单。代码所需要的所有依赖都在一个二进制文件里

  • 风格一致。格式化工具会让所有代码风格都保持一致

  • 更便捷的工具。一个编辑器+插件满足几乎所有需求,都不需要IDE

适用于机器学习的Python,适用于基础架构的Go

Cortex服务于TensorFlow,PyTorch,scikit-learn和其他Python模型,这意味着与这些模型的接口以及推理前后的处理,用Python完成。

但是,即使将Python代码打包到了Docker容器中,这些容器都是用Go语言编写的代码精心编排的。如果你有兴趣成为一名机器学习工程师,那么了解Python是必须的。

但是,如果你对使用机器学习基础结构感兴趣,则应认真考虑使用Go。

(完)


Python程序不需要编译 这种特性使得Python具有快速的开发和调试能力,同时也使得Python成为一个易学易用的编程语言。Python是一种解释型语言,因此在执行Python程序时不需要进行显式的编译过程。这个文件包含了Python代码的源代码,它可以被Python解释器读取和执行。但是这些步骤通常是可选的,对于大多数Python程序而言,并不需要进行显式的编译过程。然而,也有一些情况下,你可能想要将Python代码编译为字节码或机器码,以提高程序的执行效率。Python解释器会逐行解释执行我们的代码,并输出结果。 阅读详情

相关推荐

Go-goml-完全Golang编写的机器学习库

goml - 完全Golang编写的机器学习库可以让一般开发人员引入机器学习到他们的应用程序中

解释执行不需要编译吗?

不需要。在计算机中,编译是将源代码转换为可执行文件的过程。在执行这些可执行文件时,不再需要编译过程。 但是,有些编程语言(如 Python)是解释型语言,它们不需要编译,因为它们在执行时会被解释器直接解释执行。这意味着,在执行 Python 代码时,不需要将代码先编译为可执行文件,而是可以直接运行 Python 脚本。 还有一些编程语言(如 Java)是编译型语言,它们需要在执行之前先编译为可执行...

weixin_35752122的博客 554

spaGO是一个用Go语言编写的美观且可维护的机器学习库-Golang开发

spaGO是一个用Go语言编写的美观且可维护的机器学习库,旨在在自然语言处理任务中支持相关的神经网络体系结构。spaGO如果您喜欢该项目,请★在此存储库中加注星标以显示您的支持! Go用Go编写的美观且可维护的机器学习库。 它旨在支持自然语言处理中的相关神经体系结构。 spaGO与类似:hugging_face:BERT的变形金刚以及Flair序列标签架构兼容。 spaGO附带了许多内置功能,包括:自动区分。 您编写了forward(),它会进行所有反向()派生

用 Go 跑的更快:使用 Golang 为机器学习服务

因此,我们的要求是用尽可能少的资源完成每秒300万次的预测。值得庆幸的是,这是一种比较简单的推荐系统模型,即多臂老虎机(MAB)。多臂老虎机通常涉及从 Beta 分布 等分布中取样。这也是花费时间最多的地方。如果我们能同时做尽可能多的采样,我们就能很好地利用资源。最大限度地提高资源利用率是减少模型所需总体资源的关键。我们目前的预测服务是用 Python 编写的微服务,它们...

Go中国 1478

3D IC中Memory-on-Logic堆叠测试的DFT解决方案与工程实践

在半导体行业,随着摩尔定律逼近物理极限,3D IC技术通过芯片垂直堆叠实现性能提升和异构集成,已成为重要发展方向。其核心原理是利用硅通孔(TSV)或微凸块实现芯片间电气互连,将多个不同功能的芯片(如逻辑芯片与存储芯片)集成在一个封装内。这项技术的核心价值在于能大幅提升系统性能、降低功耗并实现更小的封装尺寸。然而,芯片堆叠后,传统的测试方法面临巨大挑战,尤其是测试访问存在物理屏障,无法直接探测被覆盖的芯片接口。为此,可测试性设计(DFT)成为确保3D IC可靠性与量产可行性的关键技术。它通过在设计阶段植入专用

weixin_42521058的博客 633

STM32F103C8T6实战:手把手教你搭建智能火灾报警系统(附MQ-2传感器调试技巧)

本文详细介绍了基于STM32F103C8T6单片机和MQ-2烟雾传感器的智能火灾报警系统搭建过程。从硬件选型、电路设计到软件开发,提供全面的实战指导,特别包含MQ-2传感器调试技巧,帮助开发者快速实现稳定可靠的智能火灾监控系统。

year5的博客 215

啥叫编译?为什么有的语言不需要编译,有的需要呢?

有的编程语言需要编译,例如C、C++、Java等,这些语言的源代码需要通过编译器进行编译,将源代码转换成二进制可执行文件或者字节码文件。而有的编程语言不需要编译,例如JavaScript、Python等,这些语言的源代码可以直接通过解释器进行解释执行,而不需要将源代码转换成可执行文件。需要编译的语言优点是运行速度快,缺点是需要编译时间较长,代码不能跨平台。编译(Compilation)是指将高级语言(例如C、Java等)编写的源代码转换成机器可以直接执行的机器语言代码的过程。

2301_76418831的博客 2740

ArcGIS实战:手把手教你用DEM和灾害点数据,5步搞定地质灾害风险区划图

本文详细介绍了使用ArcGIS进行地质灾害风险评估的完整流程,从DEM和灾害点数据出发,通过五步标准化操作生成专业风险区划图。重点讲解了信息量模型的应用,帮助读者掌握GIS技术在地质灾害易发性评价中的实践方法,提升风险评估效率与准确性。

weixin_30696427的博客 428

python为什么不用编译器_为什么C程序需要反编译器,而python程序不需要?

注:作者否认在这方面有很深的专业知识。有些断言可能不正确。Python实际上被编译成字节码,它由Python解释器运行。无论何时使用Python模块,Python都将生成一个.pyc文件,该文件的名称与该模块相对应。这相当于编译C文件时生成的.o文件。在因此,如果您想反汇编一些东西,.pyc文件应该是:)Python在编译模块时所经历的过程与gcc或其他C编译器对C源代码所做的非常相似。主要的区别...

weixin_32353247的博客 2026

Pycharm英文改成中文遇到的困难(没有Chinese插件)

点击以下链接进入汉化包下载页面ps:注意下载的版本要符合自己的Pycharm版本,过高和过低的版本都会报错这是基于很多朋友出现Pycharm没有插件而写的,如果有此插件可以参考此链接的文章。如果遇到什么问题,可以直接写在评论区!

m0_46657126的博客 1万+

改进的主动轮廓模型实现图像分割

主动轮廓模型的优点在于可以自适应地调整轮廓形状和位置,适用于不同形状和大小的目标分割。改进的主动轮廓模型是一种有效的图像分割方法,能够适应不同场景下的图像分割需求。改进的主动轮廓模型涉及到许多参数,如模型参数、分割参数、权值系数等,这些参数的调整也会直接影响到分割结果。本文将介绍一个改进的主动轮廓模型,该模型可以实现对图像进行有效的分割。改进的主动轮廓模型是在传统的主动轮廓模型基础上进行的改进。和传统的模型相比,改进的主动轮廓模型加入了外部力和内部力,能够更好地适应复杂场景下的图像分割。

qq_39605374的博客 298

为什么python不需要编译_为什么我用Go写机器学习部署平台,而偏偏不用Python?...

【新智元导读】虽然在机器学习中,Python已经无孔不入。但Python并不是全能之神手中的魔杖可以为所欲为。很多情况下其实用Python的效果并不如其他语言,比如Go更好,甚至可能更糟。本文介绍了为什么在作者的工作环境下选择Go而非Python的理由,引发社区关注和热议。「福利:1月16日,腾讯微信人工智能高级研究员钱桥手把手教你“推荐系统与数据思维”,戳右边链接上 新智元We站公开课 了解更多...

weixin_39784195的博客 340

SAP PFCG 中的单一角色与复合角色

在 SAP 系统的安全与授权管理中,事务码 PFCG(角色维护)扮演着关键角色。理解单一角色(Single Role)和复合角色(Composite Role)的概念,对于有效地管理用户权限至关重要。

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 1482

我们为什么用 Go 编写机器学习架构,却不用 Python?

“如果你有兴趣成为一名机器学习工程师,那么必须熟练掌握Python——但是,如果你对机器学习的基础架构感兴趣,则应该认真考虑Go。”作者 |Caleb Kaiser译者 |弯月,责编...

优快云资讯 3438

计算机组成原理(第三版)唐朔飞-第五章输入输出系统-课后习题

计算机组成原理(第三版)唐朔飞-第五章输入输出系统-课后习题

weixin_45735391的博客 6万+

手把手教你学simulink实例--基于Simulink的船舶动力装置性能评估与仿真

船舶动力装置是船舶运行的核心系统,其性能直接影响船舶的安全性、经济性和环保性。基于MATLAB/Simulink平台进行船舶动力装置性能评估与仿真是研究和优化船舶动力系统的重要手段。通过建模与仿真,可以分析动力装置在不同工况下的性能表现,并验证控制策略的有效性。本项目旨在构建一个完整的船舶动力装置性能评估与仿真模型,包括发动机建模、传动系统建模、负载分析以及性能评估模块,并通过仿真分析其动态响应和性能指标。

MHD0815的博客 976

做工程为什么不用python_我们为什么用 Go 编写机器学习架构,却不用 Python?

原标题:我们为什么用 Go 编写机器学习架构,却不用 Python?“如果你有兴趣成为一名机器学习工程师,那么必须熟练掌握Python——但是,如果你对机器学习的基础架构感兴趣,则应该认真考虑Go。”作者 | Caleb Kaiser译者 | 弯月,责编 | 郭芮如今,众所周知Python是机器学习项目中最流行的语言。尽管R、C++ 和Julia等语言都有各自的支持者和使用情况,但Python仍然...

weixin_39583751的博客 137

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

抛弃Python,我们为什么用Go编写机器学习架构?

所有参与投票的 优快云 用户都参加抽奖活动群内公布奖项,还有更多福利赠送作者 |Caleb Kaiser译者 |弯月,编辑| 郭芮来源 | 优快云(ID:优快云news)如今...

AI科技大本营 1915

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

go项目打包部署_为什么用Go编写机器学习的基础架构,而不是Python?

全文共2626字,预计学习时长8分钟来源:blog.sinaPython是机器学习项目中最流行的语言,这点是毋庸置疑的。虽然像R语言、C++和Julia这样的程序语言有其特有的使用群体与用例,使它们经久不衰,但Python仍是使用最广泛的语言,并用于每个主要的机器学习框架中。然而,你能想象?在Cortex(将机器学习模型部署为API的开放源代码平台之一)代码库中,87.5%的代码都是使用GO编写。...

weixin_30880565的博客 174

为什么用Go编写机器学习的基础架构,而不是Python?

2020-02-14 12:35:39 全文共2626字,预计学习时长8分钟 来源:blog.sina Python是机器学习项目中最流行的语言,这点是毋庸置疑的。 虽然像R语言、C++和Julia这样的程序语言有其特有的使用群体与用例,使它们经久不衰,但Python仍是使用最广泛的语言,并用于每个主要的机器学习框架中。 然而,你能想象?在Cortex(将机器学...

喜欢打酱油的老鸟 659

Go语言在机器学习中有未来吗?

本文将探索在机器学习中使用Go所面临的的挑战,以及为什么Go可以在机器学领域立足。

需要界面开发、IDE工具研发中文教程资料的小伙伴,记得私信我~ 669

go调用python脚本_谁能取代Python?我使用Go来部署机器学习模型的原因

全文共1881字,预计学习时长7分钟图源:unsplash毋庸置疑,Python是如今最受欢迎的机器学习语言。虽然机器学习框架使用CUDA C / C ++之类的语言进行实际运算,但它们都提供了Python接口。这也是为什么大多数机器学习从业人员都工作中都使用Python。而机器学习基础设施——Cortex的代码库88.3%都是Go语言编写的。图源:Cortex GitHub大规模部署模型不同于编...

weixin_39841136的博客 412

​为什么用Go编写机器学习的基础架构,而不是Python?

全文共2626字,预计学习时长8分钟来源:blog.sinaPython是机器学习项目中最流行的语言,这点是毋庸置疑的。虽然像R语言、C++和Julia这样的程序语言有其特有的使用群体...

读芯术的博客 431
上一篇: 鼠年快乐,鼠你快乐,迟来的几架无人机赠给一直以来支持的你们!
下一篇: 【目标检测Anchor-Free】CVPR 2019 Object as Points(CenterNet)
Wang_AI
博客等级 码龄12年 998粉丝 162原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值