PyTorch 1.5上线：加入稳定C++前端，高级自动梯度API

最新推荐文章于 2025-03-31 15:18:51 发布

转载最新推荐文章于 2025-03-31 15:18:51 发布 · 361 阅读

PyTorch 1.5版本发布，引入了C++前端API、计算机视觉专用存储格式、自定义C++类API、分布式RPC框架稳定版本、高级autograd API等新特性，提升了模型并行训练效率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

机器之心报道

文章转载自机器之心

在新版本中，Facebook 与 AWS 还合作共同推出了大规模生产级工具库 TorchServe。

今天，PyTorch 1.5 宣布上线，此版本主要包括几个新的 API 的添加和改进。新版 PyTorch 包括对 C++前端的重大更新，用于计算机视觉模型的「channels last」存储格式，以及用于模型并行训练的分布式 RPC 框架的稳定版本。该版本还提供了针对自动求导机制中黑塞和雅可比的新 API，以及受 pybind 启发，允许用户创建自定义 C++类的一个 API。另外，torch_xla 已可在 PyTorch 1.5 版中使用，并在 1.5 版本中进行了测试，可提供成熟的 Cloud TPU 体验。

版本说明：https://github.com/pytorch/pytorch/releases/tag/v1.5.0

主要变化

以下是 PyTorch 1.5 版本的主要变化

C++ 前端 API（稳定型）

现在 C++前端 API 与 Python 版同等丰富，之前实验性的功能都已移到「稳定版」中。主要亮点如下：

专为计算机视觉设计的「Channels last」储存格式（实验型）

「Channels last」储存布局解锁了使用高效卷积算法与硬件的能力。另外，它被设计为在众多运算中自动传播，使得用户能在不同储存布局间轻松切换。

自定义 C++类（实验型）

这次发布的版本中加入了 torch.CutomClassHolder 这一新的 API，能够将自定义的 C++类同时绑定到 TorchScript 和 Python 中。该 API 的用法几乎与 pybind11 相同，它允许用户将自定义的 C++类与方法暴露给 TorchScript 类型的系统，这使得用户能够从 TorchScript 和 Python 中实例化并操纵任意 C++对象。

以下为一个官方给出的实例：

template <class T>
struct MyStackClass : torch::CustomClassHolder {
  std::vector<T> stack_;
  MyStackClass(std::vector<T> init) : stack_(std::move(init)) {}

  void push(T x) {
    stack_.push_back(x);
  }
  T pop() {
    auto val = stack_.back();
    stack_.pop_back();
    return val;
  }
};

static auto testStack =
  torch::class_<MyStackClass<std::string>>("myclasses", "MyStackClass")
      .def(torch::init<std::vector<std::string>>())
      .def("push", &MyStackClass<std::string>::push)
      .def("pop", &MyStackClass<std::string>::pop)
      .def("size", [](const c10::intrusive_ptr<MyStackClass>& self) {
        return self->stack_.size();
      });

上述代码就暴露了一个类，用户可在 TorchScript 和 Python 中用如下方式调用：

@torch.jit.script
def do_stacks(s : torch.classes.myclasses.MyStackClass):
    s2 = torch.classes.myclasses.MyStackClass(["hi", "mom"])
    print(s2.pop()) # "mom"
    s2.push("foobar")
    return s2 # ["hi", "foobar"]

分布式 RPC 框架 API（稳定型）

分布式 RPC 框架在 1.4 版中作为实验性功能发布。当前版本涉及大量针对分布式 RPC 框架的可靠性与鲁棒性的功能强化以及错误修复，并加入了如性能调试支持、在 RPC 中使用 TorchScript 功能等一系列新功能。以下为该框架下各种 API 总览：