PyTorch 1.5 发布,与 AWS 合作 TorchServe

Torchserve服务开发 TorchServe 是 PyTorch 中推荐的模型部署解决方案,通过它可以将深度学习模型高效地部署到生产环境。本文介绍如何使用TorchServe 开发服务,不仅限于深度学习模型。 阅读详情

By 超神经

内容概要:近日 PyTorch 发布了 1.5 版本的更新,作为越来越受欢迎的机器学习框架,PyTorch 本次也带来了大的功能升级。此外, Facebook 和 AWS 还合作推出了两个重要的 PyTorch 库。

关键词:PyTorch  AWS  TorchServe  

随着 PyTorch 在生产环境中的应用越来越多,为社区提供更好的工具和平台,以便高效地扩展训练和部署模型,也成了 PyTorch 的当务之急。

近日 PyTorch 1.5 发布,升级了主要的 torchvision,torchtext 和 torchaudio 库,并推出将模型从 Python API 转换为 C ++ API 等功能。

除此之外,Facebook 还和 Amazon 合作,推出了两个重磅的工具:TorchServe 模型服务框架和 TorchElastic Kubernetes 控制器。

TorchServe 旨在为大规模部署 PyTorch 模型推理,提供一个干净、兼容性好的工业级路径。

而 TorchElastic Kubernetes 控制器,可让开发人员快速使用 Kubernetes 集群,在 PyTorch 中创建容错分布式训练作业。

这似乎是 Facebook 联手亚马逊,在针对大型性能 AI 模型框架上,宣战 TensorFlow 的一个举措。

TorchServe:用于推理任务

部署机器学习模型进行规模化推理并非易事。开发人员必须收集和打包模型工件,创建安全的服务栈,安装和配置预测用的软件库,创建和使用 API 和端点,生成监控用的日志和指标,并在可能的多个服务器上管理多个模型版本。

上述每一项任务都需要大量的时间,并可能会使模型部署速度减慢数周甚至数月。此外,为低延迟在线应用优化服务是一件必须要做的事情。

此前使用 PyTorch 的开发人员,均缺乏官方支持的部署 PyTorch 模型的方法。而生产模型服务框架 TorchServe 的发布,将改变这一现状,它能够更容易地将模型投入到生产中。

在下面的例子中,将说明如何从 Torchvision 中提取训练过的模型,并使用 TorchServe 进行部署。

#Download a trained PyTorch model
wget https://download.pytorch.org/models/densenet161-8d451a50.pth
 
#Package model for TorchServe and create model archive .mar file
torch-model-archiver \
 --model-name densenet161 \
 --version 1.0 \
 --model-file examples/image_classifier/densenet_161/model.py \
 --serialized-file densenet161–8d451a50.pth \
 --extra-files examples/image_classifier/index_to_name.json \
 --handler image_classifier
 
mkdir model_store
mv densenet161.mar model_store/
 
#Start TorchServe model server and register DenseNet161 model
torchserve — start — model-store model_store — models densenet161=densenet161.mar

TorchServe 的测试版本现已可用,其特点包括:

  • 原生态 API:支持用于预测的推理 API,和用于管理模型服务器的管理 API。

  • 安全部署:包括对安全部署的  HTTPS 支持。

  • 强大的模型管理功能:允许通过命令行接口、配置文件或运行时 API 对模型、版本和单个工作线程进行完整配置。

  • 模型归档:提供执行「模型归档」的工具,这是一个将模型、参数和支持文件打包到单个持久工件的过程。使用一个简单的命令行界面,可以打包和导出为单个「 .mar」文件,其中包含提供 PyTorch 模型所需的一切。该 .mar 文件可以共享和重用。

  • 内置的模型处理程序:支持涵盖最常见用例,如图像分类、对象检测、文本分类、图像分割的模型处理程序。TorchServe 还支持自定义处理程序。

  • 日志记录和指标:支持可靠的日志记录和实时指标,以监视推理服务和端点、性能、资源利用率和错误。还可以生成自定义日志并定义自定义指标。

  • 模型管理:支持同时管理多个模型或同一模型的多个版本。你可以使用模型版本回到早期版本,或者将流量路由到不同的版本进行 A/B 测试。

  • 预构建的图像:准备就绪后,可以在基于 CPU 和 NVIDIA GPU 的环境中,部署T orchServe 的 Dockerfile 和 Docker 镜像。最新的 Dockerfiles 和图像可以在这里找到。

用户也可以从 pytorch.org/serve 获得安装说明、教程和文档。

TorchElastic :集成的 K8S 控制器

当前机器学习的训练模型越来越大,如 RoBERTa 和 TuringNLG,它们向外扩展到分布式集群的需求也变得越来越重要。为了满足这一需求,通常会使用抢占式实例(例如 Amazon EC2 Spot  实例)。

但这些可抢占实例本身是不可预测的,为此,第二个工具 TorchElastic 出现了。

Kubernetes 和 TorchElastic 的集成,允许 PyTorch 开发人员在一组计算节点上训练机器学习模型,这些节点可以动态地变化,而不会破坏模型训练过程。

即使节点发生故障,TorchElastic 的内置容错功能也可以暂停节点级别的训练,并在该节点再次恢复正常后恢复训练。

TorchElastic 的内置容错能力支持断点续传

此外,使用带有 TorchElastic 的 Kubernetes 控制器,可以在硬件或节点回收时问题上,在被替换了节点的集群上,运行分布式训练的关键任务。

训练任务可以使用部分被请求的资源启动,并且可以随着资源可用而动态扩展,无需停止或重新启动。

要利用这些功能,用户只需在简单的作业定义中指定训练参数,Kubernetes-TorchElastic 软件包便可以管理作业的生命周期。

以下是用于 Imagenet 训练作业的 TorchElastic 配置的简单示例:

apiVersion: elastic.pytorch.org/v1alpha1
kind: ElasticJob
metadata:
  name: imagenet
  namespace: elastic-job
spec:
  rdzvEndpoint: $ETCD_SERVER_ENDPOINT
  minReplicas: 1
  maxReplicas: 2
  replicaSpecs:
    Worker:
      replicas: 2
      restartPolicy: ExitCode
      template:
        apiVersion: v1
        kind: Pod
        spec:
          containers:
            - name: elasticjob-worker
              image: torchelastic/examples:0.2.0rc1
              imagePullPolicy: Always
              args:
                - "--nproc_per_node=1"
                - "/workspace/examples/imagenet/main.py"
                - "--arch=resnet18"
                - "--epochs=20"
                - "--batch-size=32"

‍

微软、谷歌,就问你们慌不慌?

这次两家合作推出全新 PyTorch 库的操作,其背后也许有着更深层的意义,因为「不带你玩」这个套路,在框架模型发展的历史上,已不是第一次出现。

2017 年 12 月,AWS、Facebook 和微软宣布,他们将共同开发可用于生产环境的 ONNX ,以此来对抗谷歌 TensorFlow 对工业界使用的垄断。

随后 Apache MXNet 、Caffe2、PyTorch 等主流深度学习框架,都对 ONNX 实现了不同程度的支持,这方便了算法及模型在不同的框架之间的迁移。

AWS、Facebook 和微软当初

欲用 ONNX 一统框架江湖

而 ONNX 想打通学术界和产业界的愿景,实际上并没有达到当初的预期,各家框架依然用各自的服务体系,基本上只有 MXNet 和 PyTorch 深入到了 ONNX。

而如今,PyTorch 推出了自己的服务体系,ONNX 则近乎失去了存在的意义(MXNet 表示不知所措)。

另一方面,PyTorch 在不断的升级更新之下,框架的兼容性和易用性,正在逼近甚至赶超最强劲的对手 TensorFlow。

虽然谷歌有自己的云服务和框架,但 AWS 的云资源和 Facebook 的框架体系联合,强强联手之下,恐怕谷歌也将难以招架。

而微软已经被曾经 ONNX 三人组的两个小伙伴踢出群聊,下一步不知做何打算?

—— 完 ——

扫描二维码,加入讨论群

获得更多优质数据集

了解人工智能落地应用

关注顶会&论文

回复「读者」了解更多

更多精彩内容(点击图片阅读)

NLP工程师实战指南:TorchServe、SCAN与越南语NER落地要点 自然语言处理(NLP)作为人工智能工程化落地的关键领域,其核心挑战不在理论推导,而在模型服务、数据泛化与多语言支持等真实生产环节。TorchServe以Java实现提供可控内存管理与企业级监控集成,显著提升高并发推理稳定性;SCAN数据集聚焦组合泛化能力,为指令理解类任务提供可验证的零样本评估基准;越南语NER等小语种模型则揭示了预训练权重与本地语料适配的深度耦合关系。这些技术价值已广泛应用于智能客服、IoT指令解析、跨境电商内容理解等场景。本文基于一线NLP工程师实践,系统拆解模型部署、数据集选用与跨语言 阅读详情

相关推荐

Torchserve-基准测试:基准化Torchserve和Tensorflow服务的客户端

用法 1.目录 确保主目录中有这些文件夹。 /model-server /benchmark /conf /logs /model-store /tmp /torchserve_benchmark 并使用chmod -R 777授予这些文件夹的权限。 2.指令 rm -rf logs/; singularity run --nv -B ~/model-server:/home/model-server torchserve_latest-gpu.sif "torchserve --start --model-store /home/model-server/model-store --ts-config /home/model-server/benchmark/conf/config.properties > /home/model-server

【torchserve安装和使用】torchserve部署方法|常见问题汇总|mmdetection使用torchserve部署|不使用docker

什么是torchserve? (百度)torchserve是Facebook和AWS联手开发的一款用于机器学习模型部署和调用的微服务程序。 接触torchserve是因为项目落地最终需要部署到平台上面,所以就开始了torchserve的使用之旅。 安装方法: pip3 install torchserve -i https://pypi.tuna.tsinghua.edu.cn/simple torchserve官网: 1. TorchServe — PyTorch/Serve ma...

m0_61139217的博客 7164

从零到一:Abaqus与Matlab联合仿真的自动化流程构建指南

本文详细介绍了如何构建Abaqus与Matlab联合仿真的自动化流程,涵盖基础架构设计、关键接口技术实现、结果提取与处理技术以及高级参数化优化流程。通过Python脚本作为桥梁,实现数据传递和任务控制,帮助工程师提升仿真效率。特别强调了版本兼容性、异常处理和性能监控等实用技巧。

weixin_29090089的博客 613

torchserve使用教程(踩坑记录)

1 torch serve介绍 在生产中部署和管理模型通常是机器学习过程中最困难的部分,这项工作包括构建定制的预测 API,对其进行扩展,并加以保护等等。 简化模型部署过程的一种方法是使用模型服务器,即专门设计用于在生产中提供机器学习预测的现成的 Web 应用程序。 模型服务器可轻松加载一个或多个模型,并自动创建由可扩展 Web 服务器提供支持的预测 API。 模型服务器还可以根据预测请求运行代码预处理和后处理。 最后同样重要的一点是,模型服务器还提供对生产至关重要的功能,例如日志记录、监控和安全性等。 广

weiyaner的博客 1万+

超实用!用ChimeraX对AlphaFold 结果可视化(中): 蛋白结构美化篇

而一般需要的背景颜色是无色(白色),有三种方法可以更改背景颜色,这里我们介绍两种方法,第三种在下一小节中讲解。如果想选中蛋白链中的某一结构区域或者某些位点,可以用Ctrl+Shift+鼠标左键,或在软件窗口中点击。在这个窗口中可以对蛋白的主链、侧链、表面等颜色进行修改,只用在。,即可在右下角看到我们蛋白的序列信息,在这里面直接用鼠标选择要选择的结构域。就会有更多的颜色供我们选择,如果有特定的色号还可以在这个界面继续选择。后面的颜色(②),就可以选择想要的任何背景颜色(③)。就可以选择软件推荐的常用颜色。

m0_63153079的博客 5497

千兆以太网的接收和crc校验

解析该以太网帧,包括统计该以太网帧长度+过滤功能(端口号对不对,是否为udp协议)+CRC校验,将解析结果存入状态fifo,一旦状态fifo开始有数,就开始开启读过程,读过程开始时,首先读状态fifo,根据从状态fifo里面读出的以太网帧长度,来读数据fifo(这样能够防止跨帧读),然后在根据状态fifo里面读出的crc校验正确标志和过滤标志,来确定是否将数据fifo读出来的数据送给下一个模块。改掉之后在抓一下,可以看到抓出来的数据完全正确,从最后开始看,除去4个crc校验的尾巴,数据是到255结束的。

weixin_45284871的博客 2742

TorchServe详解和应用

TorchServer是PyTorch的一个组件,它是一个轻量级的服务框架,用于部署和管理PyTorch模型,以便在生产环境中提供高效、可扩展的推理服务。TorchServer提供了RESTful API,可以方便地与其他系统集成,支持模型热加载和热更新,确保模型的快速部署和更新。启动TorchServer后,你就可以通过HTTP请求调用模型服务了。使用TorchServer时,你需要创建一个自定义的处理类(如。,并实现预处理、模型推理和后处理方法。

易之阴阳,量子纠缠,道之一体,缘起性空 1594

告别Keil?在Mac上配置STM32CubeIDE + CMSIS-DAP调试器全攻略(含常见报错解决)

本文详细介绍了在Mac平台上配置STM32CubeIDE与CMSIS-DAP调试器的全流程,包括硬件准备、软件安装、工程创建及调试优化。通过实战指南,帮助开发者高效完成STM32开发,解决常见报错问题,提升开发效率。

weixin_30485379的博客 434

torchserve使用教程

官方文档地址: https://github.com/pytorch/serve/blob/master/docs/README.mdhttps://github.com/pytorch/serve/blob/master/docs/README.md 下载项目: git cloneGitHub - pytorch/serve: Model Serving on PyTorch ------Serving quick start 注:还需要安装jdk11 (1)安装依赖项 到源码根目录..

weixin_41977938的博客 1万+

GD32F105RBT6 keil工程模板

创建GD32F105RBT6的keil初始基础工程,未来的所有外设驱动都是基于这个基础工程进行扩展。

RMDYBW的博客 1932

基于Simulink的永磁同步电机三闭环(位置/速度/电流)控制仿真

本文详细介绍了基于Simulink的永磁同步电机三闭环控制系统设计与实现方法。系统采用位置环、速度环、电流环的三层嵌套结构,通过坐标变换(Clark/Park)实现解耦控制,达到精密定位目的。文章包含完整的建模步骤:从主电路搭建、三环PID设计到坐标变换与SVPWM调制实现,并提供了核心控制算法的MATLAB代码。通过工业机械臂关节场景验证,系统在阶跃响应(稳态误差0.002°)、正弦跟踪(误差0.008°)和抗扰动性能(恢复时间0.05s)方面表现优异。最后还提出了前馈补偿、扰动观测器等优化方向。该方案适

xiaoheshang_123的博客 283

PyTorch 1.5 发布,与 AWS 合作 TorchServe!

作者 | 神经星星来源 |HyperAI超神经(ID:HyperAI)近日,PyTorch 发布了 1.5 版本的更新,作为越来越受欢迎的机器学习框架,PyTorch 本次也带来了大的...

优快云资讯 2335

PyTorch 1.5发布,与AWS联手推出TorchServe

导读:近日 PyTorch 发布了 1.5 版本的更新,作为越来越受欢迎的机器学习框架,PyTorch 本次也带来了大的功能升级。此外, Facebook 和 AWS 还合作推出了两个重...

AI科技大本营 1414

VN1640 CH5 I/O通道终极指南:【从硬件原理—>工程实战—>自动化测试实战】

摘要:本文详细解析Vector VN1640 CH5 I/O通道的硬件原理与工程应用,涵盖模拟输入(AIN)、数字输入(DIN)和数字输出(DOUT)三大功能模块的配置指南。通过硬件隔离设计实现高精度信号采集与驱动控制,重点分析开漏输出特性及保护机制。提供PWM控制、ECU上电时序测试、传感器闭环控制等实战案例的CAPL脚本代码,并强调多设备同步采集的精准性(时间偏差<1µs)。适用于汽车电子HIL测试、ECU信号监测等场景,所有方案均通过实际项目验证。

汽车控制器系统开发、VIL测试、HIL测试、MIL测试、EMS电喷系统标定与开发、热管理系统标定 761

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

pytorch1.5对应的python版本_PyTorch 1.5发布:Python与C++可转换,PyTorch 宣告不再支持Python2...

【导读】 在新版本中,Facebook 与 AWS 还合作共同推出了大规模生产级工具库 TorchServe。4月21日,Facebook 正式发布了 PyTorch 1.5,这是自 2020年 1 月发布 Pytorch 1.4 之后,时隔三月迎来的另一次版本升级。需要注意的是,PyTorch 1.5只支持Python 3,不再支持Python 2版本。此次发布PyTorch 1.5此版本主要...

weixin_39969006的博客 1025

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

AWS推出用于PyTorch的开源模型服务器

亚马逊网络服务(AWS)推出了一个名为TorchServe的开源工具,用于服务PyTorch机器学习模型。 AWS由AWS与开发PyTorch的Facebook合作维护TorchServe,并可作为GitHub上PyTorch项目的一部分提供。 TorchServe于4月21日发布,旨在简化在生产环境中大规模部署PyTorch模型的过程。 目标包括低延迟的轻量级服务和高性能推理。 [...

cxu0262的博客 281

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

aws 开源 xpack_AWS推出用于PyTorch的开源模型服务器

aws 开源 xpack 亚马逊网络服务(AWS)推出了一个名为TorchServe的开源工具,用于服务PyTorch机器学习模型。 AWS由AWS与开发PyTorch的Facebook合作维护TorchServe,并可作为GitHub上PyTorch项目的一部分提供。 TorchServe于4月21日发布,旨在简化在生产环境中大规模部署PyTorch模型的过程。 目标包括低延迟的轻量级服务...

cxw9087的博客 94

构建企业级AI模型管理平台:从模型仓库到服务化部署全链路实践

在人工智能工程化实践中,模型服务化与高效管理是连接算法研发与业务应用的关键桥梁。其核心原理在于通过标准化、自动化的技术体系,将训练完成的机器学习模型转化为稳定、可扩展的API服务。这一过程的技术价值在于解决了模型部署环境复杂、版本管理混乱、资源利用效率低等生产级难题,实现了模型资产的价值最大化。典型的应用场景包括企业内部统一AI能力平台、对外提供商业化AI服务以及多团队协作的模型开发生态。本文聚焦于构建此类平台的核心方法论,深入探讨了以模型仓库、服务化引擎、API网关和运营管控台为四大支柱的架构设计,并详细

505

从独家绑定到多云部署:AI大模型服务架构的演进与实践

在云原生与微服务架构成为主流的今天,服务化与解耦是提升系统灵活性和可扩展性的核心原则。其基本原理在于通过标准化接口和容器化技术,将复杂应用拆分为独立部署、可复用的组件,从而实现技术栈的自主选择和资源的弹性调度。这一架构思想在AI领域正展现出巨大价值,尤其是在大模型推理服务场景中。企业通过构建多云AI模型服务平台,可以有效避免供应商锁定、优化成本结构并满足数据合规要求。具体实践中,需要解决算力异构性、API统一网关、成本感知调度等关键挑战,并依托Kubernetes、KServe、Envoy等技术栈实现模型服

weixin_33896726的博客 336

Jeff Dean离职创业Discovery Loop:AI研发自动化与MLOps新趋势

自动化机器学习(AutoML)和MLOps是当前AI工程实践的核心方向,旨在通过自动化流程提升模型研发效率。其技术原理涉及神经架构搜索、超参数优化和持续学习等,通过构建从实验到部署的闭环系统,实现模型的自我迭代与优化。这一技术价值在于显著降低AI应用门槛,加速从研究到生产的转化过程,广泛应用于推荐系统、自动驾驶、金融风控等复杂场景。随着Jeff Dean创立Discovery Loop,AI基础设施的自动化与智能化进程有望进一步加速,推动下一代MLOps工具链的演进。

weixin_30252709的博客 526

AI算力基础设施实战指南:从GPU集群到开源大模型部署

AI算力基础设施是支撑现代人工智能应用的核心,其核心原理基于大规模并行计算与高性能硬件协同。从技术价值看,高效的算力利用能显著降低模型训练与推理成本,加速AI应用落地。在应用场景上,无论是大语言模型训练还是实时推理服务,都依赖GPU集群、高速互联网络和优化软件栈的协同工作。本文聚焦于开发者如何在实际项目中构建和部署AI应用,通过云服务、开源工具和优化策略,在有限资源下实现高效算力利用。文中涉及的NVIDIA GPU和CUDA生态是构建AI基础设施的关键组件,而PyTorch框架和模型部署技术则是工程实践中的

weixin_33749131的博客 361

构建真正可用的机器学习应用:从模型到业务价值的工程实践

机器学习应用(ML Enabled Applications)不是模型训练完成就结束,而是将算法能力转化为可嵌入业务流程、可被非技术人员日常使用的软件系统。其核心在于弥合模型与接口、算法指标与业务目标、技术迭代与组织协同之间的三重断层。关键技术包括业务契约驱动的设计范式、轻量可控的工具链选型、可解释性模块化封装、反馈驱动的数据闭环,以及成本与体验双维度的资源治理。这些实践已在制造业质检、金融反欺诈、医疗影像辅助诊断等真实场景中验证,支撑模型服务稳定运行、持续进化并产生可衡量的业务收益。

weixin_34062469的博客 484
上一篇: Python 2 最后一个版本发布,正式迈入 Python 3 时代
下一篇: Nvidia 收购 Mellanox 背后的野心和启示
HyperAI超神经
博客等级 码龄7年 8873粉丝 1753原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值