HyperAI超神经

苹果机器学习研究中心在 GitHub 上开源 MLX，是从头造轮子，还是重复造轮子？

本节以 Animated Drawings APP 为例，实际演示 TorchServe 的模型优化效果。

TorchServe 自2020 年 4 月推出至今，经历了 2 年多的发展，变得愈发成熟和稳定，本文将对 TorchServe 进行全面介绍。

NAS 的目的是发现神经网络的最佳架构。Torch 与 Ax 的整合为多目标探索神经架构的研究提供辅助。本文将展示用 Multi-objective Bayesian NAS 运行完全自动的神经架构搜索。

体验 30%-200% 的训练加速度

昨晚召开的 PyTorch Conference 2022 中，官方正式发布了 PyTorch 2.0。本文将梳理 PyTorch 2.0 与 1.x 相比的最大差异。

北京时间今晚23:00，线上见

多模态大模型发展更进一步

3 个 FX Transformation 现已应用于 Meta 内部的推荐模型

用于多任务多模态模型的训练

Transforms V2 时代开启

内附多个 PyTorch 中文教程

Profiler v1.9 的改进主要针对在运行时和/或内存上能耗最严重的执行步骤，同事将 GPU 和 CPU 之间的工作负载分配进行可视化。Profiler v1.9 新增五个主要功能包括：1、分布式训练视图： 这有助于你掌握分布式训练任务中，消耗的时间和内存。假设你有一个训练模型，当你要把负载分成 Worker 节点并行运行时，可能会像黑盒一样，出现各种各样的问题。模型整体的目标是提高训练速度。这个分布式训练视图有助于你诊断和调试单个节点内的问题。2、内存视图： 借助该视图，你可以更好地了解内存.

内容导读本文围绕一篇论文展开，探讨了 PyTorch DDP (torch.nn.parallel) 以及 Pipeline (torch.Distributed.Pipeline) 的加速混合。本文首发自微信公众号「PyTorch 开发者社区」论文题目：PipeTransformer: Automated Elastic Pipelining for Distributed Training of Large-scale Models（PipeTransformer: 用于大规模模型分布式训.

本文为 PyTorch 官方教程中：如何构建神经网络。基于 PyTorch 专门构建神经网络的子模块 torch.nn 构建一个简单的神经网络。完整教程运行 codelabtorch.nn 文档神经网络由对数据执行操作的层/模块组成。torch.nn 提供了构建神经网络所需的所有模块。PyTorch 中的每个模块都是 nn.module 的子类。在下面的部分中，我们将构建一个神经网络来进行10种类别的分类。建立神经网络神经网络由对数据执行操作的层/模块组成。torch.nn 提供了构建神经网络

内容导读PyTorch 1.9 同步更新了一些库，包括 TorchVision 中新增的 SSD 和 SSDlite 模型，与 SSD 相比，SSDlite 更适用于移动端 APP 开发。SSD 全称 Single Shot MultiBox Detector，是一种用于目标检测的单次检测算法，每次可以检测多个物体。本文将重点讨论 SSD 的移动端友好型变体，即 SSDlite。具体叙述过程为：首先通过算法的主要组件，强调与原始 SSD 的不同之处；然后讨论这个已发布的模型，是如何训.

PyTorch 团队在官方博客宣布 PyTorch 1.9 发布。该版本包括了 1.8 版本发布以来，398 位贡献者提交的 3400 多条 PR，详情访问 Here在官方博客中，团队总结了 PyTorch 1.9 版本的亮点，包括：为支持科学计算进行了重大改进，包括 torch.linalg 、 torch.special 和 Complex Autograd；针对移动开发，对解释器适配设备上的二进制大小的重大改进；通过将 TorchElastic 上传到 PyTorch Core

TorchVision v0.9 中新增了一系列移动端友好的模型，可用于处理分类、目标检测、语义分割等任务。本文将深入探索这些模型的代码，分享值得注意的实现细节，解释这些模型的配置和训练原理，并解读模型优化过程中官方做出的重要权衡。本文的目标是展示模型中没在原始论文和资料库中记载的技术细节。网络架构MobileNetV3 架构的实现严格遵守了原始论文中的设定，支持用户自定义，为构建分类、目标检测和语义分割 Backbone 提供了不同的配置。 它的结构设计与 MobileNetV2 类似，两者共用相

内容导读 AdaptDL 是一个资源自适应深度学习训练和调度框架，是 CASL 开源项目的一部分。AdaptDL 的目标是使分布式 DL 在动态资源环境中变得简单和高效。本文首发自微信公众号 PyTorch 开发者社区EDL 全称 Elastic Deep Learning，由 LF AI 基金会孵化，是一个能动态调整并行度的深度神经网络训练框架。它支持多租户集群管理，可以平衡模型训练等待及完成时间，能够提高资源利用率。训练深度学习模型通常比较耗时，在算力资源、储存空间等方面的花费也比较高昂。以.

如今，人们对于视频帧率的追求越来越高，因为高帧率视频更加顺滑、流畅，能极大地提升人们的观看体验。现有相机拍摄的视频帧率，也从 25 FPS（Frames Per Second) 不断提升到 60 FPS，再到 240 FPS 甚至更高。在绝大多数电影帧率 24 的当下，李安的《双子杀手》，以 120 的帧率实现电影技术的革新但是，高帧率的摄像设备，对于内存需求非常大，而且成本高昂，尚不能普及。为了在没有专业设备的情况下，能够得到高帧率的视频，视频插帧技术应运而生。而英伟达提出的 AI「脑补」大法

内容导读从度量学习到深度度量学习，本文介绍了一个 PyTorch 中的程序包，它可以极大简化使用深度度量学习的难度。本文首发自微信公众号「PyTorch 开发者社区」度量学习（Metric Learning）是机器学习过程中经常用到的一种方法，它可以借助一系列观测，构造出对应的度量函数，从而学习数据间的距离或差异，有效地描述样本之间的相似度。CUB200 数据集样本示例，常被用作度量学习的 benchmark这个度量函数对于相似度高的观测值，会返回一个小的距离值；对于差异巨大的观测值，则会返.

内容导读：特征提取是图像处理过程中常需要用到的一种方法，其效果好坏对模型的泛化能力有至关重要的影响。特征提取（Feature extraction）在机器学习、模式识别和图像处理中应用广泛。它从初始的一组测量数据开始，建构出提供信息且不冗余的派生值，即特征值，从而促进后续的学习和泛化步骤。在使用 PyTorch 进行模型训练的过程中，经常需要提取模型中间层的特征。解决这个问题可以用到 3 种方法。对中间层进行特征提取的 3 大方法1、借助模型类的属性传递方法： 修改 forward 函数，通.

内容导读人脸识别也遇到坑了，识别得了三次元，却对二次元无效。迪士尼的技术团队，正在开发这一算法，以帮助动画制作者进行后期搜索。团队利用 PyTorch，效率得到很大的提高。本文由公众号 PyTorch 开发者社区 编译整理发布说到动画，不得不提起自 1923 年就成立的商业帝国迪士尼，以动画起家的迪士尼，至今引领着全球动画电影的发展。每一部动画电影的背后，都凝结了数百人的心血与汗水。自第一部电脑3D动画《玩具总动员》的上映，迪士尼就开启了数字化动画创作的征程。随着 CGI、AI 技术的发展，迪士.

内容导读3D 深度学习一直是机器视觉领域的难点，为了准确高效地建立场景的立体模型，得到相对真实的渲染成果，行业内的一些大厂先后开源了自己的研发成果。本文首发自微信公众号「PyTorch 开发者社区」随着计算机视觉领域相关技术的发展，针对 2D 图像的处理效率和精度得到了显著地提升。但是现实环境中，物体多以 3D 立体结构的形式存在，如何准确地提升 AI 系统对复杂现实环境的感知和理解能力，正确处理 3D 图像， 正在成为日趋关键的技术难点。2019 年 Facebook AI 发布 Mesh.

内容导读北京时间 3 月 4 日，PyTorch 官方博客发布 1.8版本。据官方介绍，新版本主要包括编译器和分布式训练更新，同时新增了部分移动端教程。整体来看，本次版本更新涵盖 1.7 版本发布以来，共计 3,000 多次 commit，包括编译、代码优化、科学计算前端 API 以及通过 pytorch.org 提供的二进制文件支持 AMD ROCm。同时 PyTorch 1.8 还为管道和模型并行的大规模训练，进行了功能改进和梯度压缩。其中一些重点更新包括：通过 torch.fx.

在机器学习和深度学习中时，矩阵运算是最常见、有效提高计算效率的方法。因为特征和权重都以向量储存，矩阵运算就显得尤为重要，诸如梯度下降、反向传播、矩阵因子分解等重要的机器学习方法，都需要基于矩阵运算。在深度学习中，神经网络将权重储存在矩阵当中，基于线性代数的运算在 GPU上，可以对矩阵进行简单迅捷的计算处理。小规模的矩阵运算，可以用 for 循环来快速运算。但是一旦遇到巨大的数据量，循环语句就会拖慢运算速度，这时候我们常常使用矩阵乘法，它可以极大提高运算的效率。常见矩阵、向量、标量相乘..

使用 PyTorch 和 Ray 进行分布式机器学习入门，Ray 是一个流行的分布式Python 框架，可以与 PyTorch 搭配，快速扩展机器学习应用。