在AMD GPUs上构建解码器Transformer模型

最新推荐文章于 2025-04-27 19:40:58 发布
最新推荐文章于 2025-04-27 19:40:58 发布
阅读量1.8k 收藏 29
点赞数 61
分类专栏： 人工智能 # ROCm # python 文章标签： transformer 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/eidolon_foot/article/details/139752352
版权

Building a decoder transformer model on AMD GPU(s) — ROCm Blogs

在这篇博客中，我们展示了如何使用PyTorch 2.0和ROCm在单个节点上的单个和多个AMD GPU上运行Andrej Karpathy精美的PyTorch重新实现的GPT。我们使用莎士比亚的作品来训练我们的模型，然后进行推理，看看我们的模型是否能生成类似莎士比亚的文本。

GPT模型的核心是仅解码器的Transformer架构。这种架构一次生成一个输出令牌（在我们的例子中是字符），以自回归的方式，意命着每个生成的令牌都依赖于之前生成的令牌。为了更深入地了解这个模型的工作方式，我们强烈推荐回顾：

• Andrej Karpathy的视频《

了解本专栏 订阅专栏 解锁全文 超级会员免费看
使用 AMD GPUs 进行基于 Transformers 的时间序列预测
数字人生
08-26 1011
Transformer 架构在时间序列预测中的应用已成为替代传统统计模型（如自回归积分滑动平均（ARIMA）或指数平滑（ETS））的一个重要选择。Transformers 能够捕捉复杂的时间依赖关系，并且能够处理不同类型的输入数据，如文本、音频、图像和时间序列数据。基于 Transformer 的模型是一种神经网络架构，设计用于处理序列数据和捕捉长程依赖性。Transformers 最早在论文中被提出。
在AMD GPU上加速大型语言模型的Flash Attention
数字人生
06-09 1527
Flash Attention是一种快速且内存效率高的自注意力实现方式，精确且对硬件有意识。在本文中，我们演示了如何安装支持ROCm的Flash Attention，并以两种方式对其性能进行了基凌测试：1. 作为一个独立模块，来测量Flash Attention算法相对于SDPA的速度提升。2. 在Hugging Face中对多个LLMs的端到端预填充延迟进行评估，来衡量Flash Attention对模型整体预填充延迟的影响。
AMD 显卡在windows下完美兼容transformer/pytorch
znsoft的专栏
05-03 5077
2. pip install torch-directml==0.2.0.dev230426 # 这个版本会变化 ，目前不支持安装的是1.13支持的版本，不能兼容transformer.经过微软的努力 ，支持pytorch 2.0的directml-torch 已经可以试用，经过测试，已经可以完美支持transformer库。你的amd显卡可以在windows下用来炼丹了。建议windows 10或11环境。1. 安装anaconda。
Ｗindows 下 AMD显卡训练模型有救了：pytorch_directml 下运行Transformers
znsoft的专栏
02-21 4393
注意，如果直接使用pipeline可能会有问题，应该是pipeline不兼容导致的。只需要自己编写具体代码，避开pipeline即可。amd GPU占用率能上去。
全面了解AMD的CPU/GPU/NPU硬件产品
IT菜鸟
08-18 2561
全面了解AMD的CPU/GPU/NPU硬件产品
PyTorch 1.8发布，支持AMD GPU和Python函数转换
机器学习算法与Python学习
03-06 957
点击 机器学习算法与Python学习 ，选择加星标精彩内容不迷路机器之心报道PyTorch 1.8 版本为大规模训练 pipeline 和模型并行化、梯度压缩提供了特性改进。该版本的主要亮...
在 AMD GPU 上构建解码器 Transformer 模型
数字人生
10-29 890
2024年3月12日 作者在这篇博客中，我们展示了如何使用 PyTorch 2.0 和 ROCm 在单个节点上的单个和多个 AMD GPU 上运行GPT PyTorch 重新实现。GPT 模型的核心是仅解码器的 transformer 架构。这种架构以自回归的方式一次生成一个输出标记（在我们的情况下是字符），这意味着每个生成的标记都依赖于之前生成的标记。如需深入了解该模型的工作原理，我们强烈推荐查看以下内容：Andrej Karpathy的视频论文。
基于Transformer的编码器-解码器图像描述模型在AMD GPU上的应用
数字人生
12-05 1488
本博客介绍了图像字幕生成，这是一项高度应用的序列到序列任务，用于为给定图像生成文字字幕。博客提供了三个基于Transformer的编码器-解码器图像字幕生成模型的实践教程：ViT-GPT2、BLIP和Alpha-CLIP，展示了如何在使用ROCm的AMD GPU上部署这些模型，并自动为给定的输入图像生成相关的输出文字字幕。
CTranslate2：在 AMD GPU 上高效推理 Transformer 模型
数字人生
11-29 1231
Transformer 模型通过在机器翻译、文本摘要、文本生成和语音识别等任务中提供高性能结果，彻底改变了自然语言处理（NLP）的领域。然而，由于这些模型对计算和内存的高需求，在生产环境中部署它们可能会面临挑战。通过提供一个自定义运行时来应对这些挑战，该运行时实现了各种优化技术，以加速 Transformer 模型的推理。在这篇博客中，您将了解到如何使用 CTranslate2 这一强大的 C++ 和 Python 库，在 AMD 硬件上优化和加速 Transformer 模型的推理。
DeepSpeed Inference 加速指南：Transformer Kernel Fusion 与超大模型推理落地实践
最新发布
努力分享一些人工智能相关的知识干货！
04-27 859
随着大语言模型（LLMs）规模不断扩大，推理阶段的延迟、吞吐与显存占用成为影响商业落地和用户体验的关键瓶颈。 仅靠传统推理优化（如FP16、INT8量化）已难以满足百亿、千亿参数模型在实际系统中的响应需求。 DeepSpeed Inference 模块通过引入 Transformer Kernel Fusion、精细调度（Low Latency Scheduling）、通信压缩（AllReduce优化）等一系列先进技术， 实现了超大模型推理过程中的显存节省、延迟降低与吞吐提升，支撑了 OpenA
大模型应用实践与经验总结
Aweii__的博客
07-10 3058
随着ChatGPT的迅速出圈，加速了大模型时代的变革。对于以Transformer、MOE结构为代表的大模型来说，传统的单机单卡训练模式肯定不能满足上千（万）亿级参数的模型训练，这时候我们就需要解决内存墙和通信墙等一系列问题，在单机多卡或者多机多卡进行模型训练。
windows ollama 指定模型下载路径
热门推荐
数字人生
05-28 2万+
打开任务管理器，转到“进程”标签（或Windows 10及更高版本的“详细信息”标签），找到与"Ollama"相关的进程，右键点击并选择“结束任务”。如果使用的是某些特定的IDE或代码编辑器，它们可能有自己的方式来设置环境变量。在Windows系统中，如果想为Ollama指定模型的下载路径，可以通过设置环境变量来实现。在设置环境变量时，确保路径是正确的，并且有足够的权限来访问和写入该目录。在“系统变量”或“用户变量”部分，点击“新建”来创建一个新的环境变量。右键点击“此电脑”或“计算机”，选择“属性”。
解决Ubuntu20软件中心空白、搜不到软件的问题
数字人生
01-21 2万+
想通过软件中心安装vscode，打开左侧工具栏上的Ubuntu Software，里面的软件都是显示空白，搜vscode也没搜到。 通过网上的搜索和自己的一顿操作，问题算是解决了。什么原因还没有分析。记录如下： sudo apt update sudo apt upgrade sudo systemctl reboot software-properties-gtk 上面的software-properties-gtk命令是通过查看/usr/share/applications文件夹看到的。 so
使用LoRA进行高效微调：基本原理
数字人生
05-26 7496
选择一个预训练的神经网络模型，例如ResNet、Transformer等。为了简单起见，您可以选择一个轻量级的卷积神经网络（CNN）。
jupyter notebook输出表格
数字人生
05-07 6234
只要把 “print()” 去掉就好了. 参考： Jupyter Notebook输出表格格式化（自动对齐） - 灰信网（软件开发博客聚合） (freesion.com)
常见分类算法
数字人生
04-11 5176
综上，这些分类算法各有特点和适用场景，选择合适的算法通常取决于具体问题的性质、数据的特点以及所需的性能指标。此外，随着技术的发展，新的分类算法和改进方法也在不断出现，因此在选择分类算法时，应关注最新的研究和技术动态。它的核心思想是，一个样本的类别由它最近的K个邻居的类别决定。这些分类算法各有优缺点，选择合适的算法通常取决于具体问题的特点、数据的规模和性质以及计算资源等因素。这些算法涵盖了人工智能领域中常见的分类方式，每种算法都有其特定的应用场景和优缺点，选择时需根据具体任务需求和数据特性进行考量。
【linux】AMD GPU和NVIDIA GPU驱动安装
数字人生
03-31 4584
综上，根据用户对性能和特性的需求以及所使用的Linux发行版，AMD GPU的驱动在安装上可以被认为相对简便，尤其是当满足于开源驱动提供的性能时。为了充分利用显卡的高性能计算（HPC）功能，可能需要安装AMDGPU-PRO驱动，这是AMD的官方专有驱动，它提供对OpenCL和其他专用计算框架的全面支持。对于Linux用户，AMD通常提供可执行的安装文件（比如`.run`或者`.sh`文件）或者用于各个发行版的包管理格式（例如Debian的`.deb`或者RedHat的`.rpm`）。
不科学上网使用Hugging Face的Transformers库
数字人生
05-01 4523
总之，通过上述方法，即使不科学上网，也可以在国内正常使用Hugging Face的Transformers库进行自然语言处理相关的研究和开发工作。如果使用的是Docker，并且需要拉取Hugging Face的Transformers库的镜像，可能需要配置Docker以使用代理。此外，为了确保安装过程顺利，可以尝试通过清华大学的镜像源来安装所需的依赖包，这样可以加快下载速度并避免潜在的网络问题。通过上述方法，即使在没有互联网连接的情况下，也可以使用Hugging Face的Transformers库。
web前端三大主流框架
数字人生
06-06 4497
它采用MVVM（Model-View-ViewModel）模式，通过数据绑定和依赖注入，将界面的状态和数据进行统一管理，提供了丰富的功能和特性，如路由管理、表单验证、模块化等。随着前端技术的发展，新的工具和框架也可能会逐渐崛起，成为开发者的新选择。这三个框架都具有自己独特的特性和优势，选择合适的框架取决于项目的需求、团队的技术栈和个人的偏好。总结来说，Angular、React和Vue.js是目前web前端开发领域的三大主流框架，它们各有特点，适用于不同的开发场景和需求。
在虚拟机上部署火山引擎大模型
03-17
好的，用户想知道如何在虚拟机中部署火山引擎的大模型。首先，我需要回忆一下相关的步骤和可能涉及的技术。根据用户提供的引用内容，尤其是引用[1]和引用[5]，虚拟机需要正确配置CPU和网络，以支持大模型的运行。...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

109702008

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值