StarCap-优快云博客

原创【编译系列】Torch.compile()训练编译——算子融合逻辑 & 工程化

从2.4版本开始，PyTorch开始支持通过torch.library的方式往torch.compile中注册新operator，对环境有一定要求torch>=2.4且gcc>=9(训练机器最高为8.2，需要手动安装)。<2.4版本也支持，但使用起来会比较繁琐。在训练场景下，要求实现operator对应的前向函数和反传函数。

2025-02-02 20:59:15 893

原创【论文阅读】Reducing Activation Recomputation in Large Transformer Models

训练大型 Transformer 模型是现代人工智能最重要的计算挑战之一。在本文中，我们展示了如何通过减少激活值的重新计算来显著加速大型 Transformer 模型的训练。激活值重新计算通常用于解决内存容量限制问题。传统上，为了节省内存，不存储用于反向传播的激活值，而是重新计算它们，但这增加了冗余计算。在这项工作中，我们表明大部分这种冗余计算是不必要的，因为我们可以在不进行冗余计算的情况下充分减少内存消耗。我们提出了两种新颖且非常简单的技术：序列并行和选择性激活值重新计算。

2024-12-27 09:56:08 1488 1

原创【论文阅读】文生图模型Playground v3(PGV3)技术报告

我们推出了 Playground v3 (PGv3)，这是我们最新的文本转图像模型，它在多个测试基准中实现了最先进 (SoTA) 的性能，在图形设计能力方面表现出色，并引入了新功能。与依赖于预训练语言模型（如 T5 或 CLIP 文本编码器）的传统文本转图像生成模型不同，我们的方法将大型语言模型 (LLM) 与新颖的结构完全集成，该结构专门利用来自解码器专用 LLM 的文本条件。此外，为了提高图像字幕质量，我们开发了一个内部字幕器，能够生成具有不同细节级别的字幕，丰富文本结构的多样性。

2024-12-19 21:41:02 434 1

原创【论文翻译】Paraformer语音识别(ASR)

使用公共 AISHELL-1、AISHELL-2 基准和工业级 20,000 小时任务进行的实验表明，提出的 Paraformer 可以达到与最先进的 AR 变换器相当的性能，速度提高 10 倍以上。

2024-12-13 23:49:21 1268

原创【编译系列】Torch.compile()流程解析——4. PrimTorch & TorchInductor

本文是torch.compile()流程解析系列文章，因此很多代码和样例需要结合前面的文章才会更容易理解哦~

2024-12-06 23:23:46 1331

原创【编译系列】Torch.compile()流程解析——3. AOTAutograd

在上一节TorchDynamo的介绍中，我们解析了torch.compile()是如何捕获计算图并保存为GraphModule的，但在这个过程中只是对整个Python字节码进行了模拟执行、解析并构建FX Graph，相当于只是初步构建了前向计算图，没有捕获训练场景下的反向计算图。

2024-11-30 17:44:48 1193

原创【编译系列】Torch.compile()流程解析——2. TorchDynamo

在上一篇【编译系列】Torch.compile()流程解析——1. torch.compile介绍，我们解释了torch.compile出现的背景并初步了解了其使用和基础组成(感兴趣的小伙伴可以去翻一翻哦~~~)。本章我们将解释四个基础组件中的TorchDynamo。

2024-11-27 21:09:58 1090

原创【编译系列】Torch.compile()流程解析——1. torch.compile介绍

本系列主要分享训练编译的相关知识，第一章主要解析torch.compile的工作流程以及各个组件的作用和源码调用关系，配合代码示例进行解析。主要分为两大块：前端静态图捕获和后端编译。a. 前端对应TorchDynamo，主要介绍python编译执行的基本流程、PEP 523、TorchDynamo模拟执行字节码、FX Graph的构建过程；

2024-11-27 20:07:56 1692

原创机器学习编译（Machine Learning Compiler，MLC）

Tensor program一般包含三个组成部分：buffers（存储数据）、loop（循环处理每个元素）、computation（元素计算），对Tensor program进行抽象以转换成其他表现形式，所有等价的表现形式组成搜索空间，至于怎么找到其他表现形式是个开放话题。

2024-10-05 20:55:10 979 1

原创同步、异步和阻塞、非阻塞的区别与联系

在执行一个操作的时候需要等待当前操作执行完毕才能执行下一操作，相当于操作串行化，即执行当前函数的时候需要拿到当前函数的返回结果才可以继续执行。

2023-06-24 15:30:21 266 1

原创 Linux环境下的tcmalloc安装

要求：需要安装的软件：1、cmake；2、gperftools（包含tcmalloc）cmake安装sudo yum install cmake直接安装可能会因为版本太低而无法正常运行，因此需要安装更新的版本wget https://cmake.org/files/v3.20/cmake-3.20.0-Linux-x86_64.tar.gztar -xzvf cmake-3.20.0-Linux-x86_64.tar.gz# 建立软链接sudo ln -sf PATH/bin/*

2022-05-31 22:22:37 3361

原创远程VirtualBox上的Linux虚拟机

项目场景：为了能够隔离实验环境，在VirtualBox上安装了Centos7用来专门跑实验，却发现无法远程。关闭防火墙和SELinux1、关闭防火墙2、关闭SELinux“getenforce”命令查看是否开启，若为"Enfocing"，则开启；若为"Diasbled"，则关闭。修改配置文件 “/etc/sysconfig/selinux”，将SELINUX=enforced 修改为 SELINUX=disabled即可关闭。设置虚拟机桥接模式设置-》网络-》网卡1-》连接方式：桥接网卡-

2022-05-31 20:26:02 446

原创 VirtualBox 无法选择 64 位的虚拟机

VirtualBox 无法选择 64 位的虚拟机问题解决方案问题在Win10 64位机器上安装VirtualBox只显示32bit，没有64bit选项解决方案一般是电脑没有把支持虚拟机的选项打开：虚拟化功能被占用：控制面板-》程序和功能-》启用或关闭Windows功能-》Hyper-V前面的勾取消选择-》重启；BIOS没有开虚拟化技术：开机进入BIOS-》找到Virtualization选项-》设置为Enabled，不同的电脑选项不一样，可以看每个选项的解释，Virtualization的

2022-05-31 16:44:45 1504

原创 VS2019 Community许可证过期

VS2019 Community许可证过期`解决方案关掉VS，找到安装VS的文件夹，根目录下找到Common7\IDE\DDConfigCA.exe，直接双击一下会闪退，再打开VS就可以了。

2022-04-07 09:47:47 4674 1

原创 Windows RuntimeError: Distributed package doesn‘t have NCCL built in问题

问题描述：python在windows环境下dist.init_process_group(backend, rank, world_size)处报错‘RuntimeError: Distributed package doesn’t have NCCL built in’，具体信息如下： File "D:\Software\Anaconda\Anaconda3\envs\segmenter\lib\site-packages\torch\distributed\distributed_c10d.py

2021-09-02 21:47:08 18665 18

原创 VSCode远程：一直在输入密码界面

问题描述：VSCode远程服务器时出现一直在输入密码界面，输入密码也一样跳回输入密码界面。原因分析：网上有说是vscode版本更新和服务器版本对不上的，反正博主没弄明白，关了VSCode重新开启就这样了，根本没有更新过VSCode也没改过什么设置。解决方案：1、在本地VSCode选择View->Commond Palette->Remote-SSH: kill VS Code Server on Host，然后选择自己的服务器。2、重新连接，如果没能成功连接或者一直卡在

2021-07-13 20:08:44 4144

原创 conda虚拟环境安装pytorch+tensorboardX可视化工具

项目场景：提示：这里简述项目相关背景：例如：项目场景：示例:通过蓝牙芯片(HC-05)与手机 APP 通信，每隔 5s 传输一批传感器数据(不是很大)问题描述：提示：这里描述项目中遇到的问题：例如：数据传输过程中数据不时出现丢失的情况，偶尔会丢失一部分数据APP 中接收数据代码：@Override public void run() { bytes = mmInStream.read(buffer); mHandler.obta

2021-02-04 14:05:57 4572

原创重装系统后Win10无故关机解决

重装系统后Win10无故关机解决新系统无故关机的可能原因系统选择win10优化最近因为勒索病毒的原因，博主的win7电脑有点瑟瑟发抖，其实是因为里头文件太多，备份太麻烦所以一直没有重装，因为不想装360，只能被迫重装系统啦。因为电脑比较久，可能在硬件上跟win10不太吻合的原因，从重装开始就一路坑，博主遇到的问题是在重装过程以及使用过程中突然无故关机不重启的那种，对，就跟把电源突然拔了一样毫无预兆的关机。新系统无故关机的可能原因1、插线松动：这种突然断电的事肯定先看看是否插线松动了啦。2、主板散热不

2021-01-21 10:42:45 8017

原创解决：Anaconda创建虚拟环境时出现An HTTP error occurred when trying to retrieve this URL.anaconda

解决：Anaconda创建虚拟环境时出现An HTTP error occurred when trying to retrieve this URL.anaconda问题描述解决方案问题描述最近使用Anaconda创建虚拟环境时一直出现以下问题：后来发现是Anaconda镜像源出了问题，Anaconda默认镜像源的下载速度偏慢而且不稳定，更换为国内镜像源就可以了。解决方案所以只要把Anaconda镜像源更改一下就可以了。网上介绍了很多其他修改的方法试了都没成功，最后是直接把C:\Users\用户

2020-10-29 19:35:31 5369 10

StarCap的博客