1、利用 Ray 实现 Python 应用的扩展：云与无服务器模式的探索

利用 Ray 实现 Python 应用的扩展：云与无服务器模式的探索

1. 背景与需求

在当今的计算领域，可扩展计算的需求日益增长，这在很大程度上是由机器学习（ML）在众多行业的广泛应用以及实际进行 ML 所需的计算资源不断增加所推动的。过去十年，计算领域发生了显著变化。2012 年是一个转折点，深度学习在 ImageNet 竞赛中以惊人的优势获胜，此后，越来越多的数据和计算量带来了更好的结果，这一趋势至今仍在加速，尤其是随着大语言模型的出现。

从处理小数据的小模型到处理大数据的大模型的转变，改变了 ML 的实践方式。软件工程在 ML 中扮演着核心角色，成功利用 ML 的团队和组织通常会建立大型内部基础设施团队，以支持将 ML 应用扩展到数百甚至数千台机器所需的分布式系统。然而，这也使得 ML 的实施变得越来越困难，因为需要大量的基础设施投资。

为了让每个企业都能轻松利用 ML 并从中获取价值，我们需要消除开发人员成为分布式系统和基础设施专家的需求。Ray 的出现正是为了实现这一目标，它让可扩展计算和可扩展 ML 变得更加容易。

2. Ray 简介

Ray 是一个通用的无服务器 Python 实现，它允许程序员和数据科学家隐藏服务器细节，实现有状态的应用程序，支持任务之间的直接通信，并访问硬件加速器。借助 Ray，开发者可以专注于应用程序本身，而无需担心部署的细节。

3. 使用 Ray 的好处

• 保持在 Python 生态系统内 ：可以继续使用现有的 Python 技能和代码，无需切换到其他编程语言或框架。