BUG解决：安装问题transformer_engine+pytorch

最新推荐文章于 2025-03-25 16:58:51 发布
最新推荐文章于 2025-03-25 16:58:51 发布
阅读量1k 收藏
点赞数 3
分类专栏： 环境调试和BUG解决 文章标签： bug transformer pytorch 人工智能 机器学习 python 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/m0_59741202/article/details/145307085
版权

安装命令

pip install transformer_engine[pytorch]

或

pip install git+https://github.com/NVIDIA/TransformerEngine.git@main

Cmake报错信息解决

如果出现cmake相关CUDA/CUDNN错误：
（eg.缺少cudnn.h）
更改CUDA_PATH和CUDNN_PATH

版本检查CUDA 12.0+ and cuDNN 8.1+.

首先找到环境下合适的cuda 版本，比如12.1

之后

vim ~/.bashrc

export PATH=/usr
最低0.47元/天 解锁文章
Transformer Engine安装
u013250861的博客
01-07 2989
1.确认您已经安装了 OpenCV 库。可以通过在命令行中输入。来检查您是否已经安装了该库。如果您还没有安装它，可以使用。
Megatron-LM：简单读读TransformerEngine（transformer_engine）
u013250861的博客
01-06 2037
得益于PyTorch灵活的外部扩展形式，只要不去触碰框架底层运行机制，仅仅在算子层面上的修改还是相当简单。这其实就是PyTorch的一个拓展，为了利用FP8的特性，针对Transformer里面的Kernel进行了重写，包含了一系列LayerNorm, GeLU, ScaledSoftmax等。具体到每一个算子实现动态范围调整的原理其实很简单，通过记录历史的abs max值，来去调整最终缩放的范围。在FP16下，其数据范围还是足够大的，因此在AMP下，
xingyi ai集群transformer engine安装
weixin_49452153的博客
08-11 593
星光k8s目前只有AI集群服务能使用RDMA，因此通过AI集群服务中的pytorch镜像开启环境。
【安装Transformer】
最新发布
qq_38654797的博客
03-25 1267
直接选择在anaconda软件里的可视化界面进行了创建。当前机器的CUDA版本为 12.6 ，或者。
TransformerEngine
AI工程化、开源分享、文档翻译、代码笔记
07-26 1883
一、关于 TransformerEngine ？ 亮点 二、使用示例 PyTorch JAX Flax 三、安装 先决条件 Docker pip 从源码 使用 FlashAttention-2 编译 四、突破性的变化 v1.7: Padding mask definition for PyTorch 五、FP8 收敛 六、集成 七、其它 贡献 论文 视频 最新消息
NVIDIA Transformer Engine 使用教程
gitblog_00388的博客
09-08 1435
NVIDIA Transformer Engine 使用教程 TransformerEngineA library for accelerating Transformer models on NVIDIA GPUs, including using 8-bit floating point (FP8) precision on Hopper and Ada GPUs, to provide b...
centos安装transformer_engine教程
g6660666g的博客
03-05 2086
最近在centos7上安装nvidia 的NeMo 进行speech LLM 训练。安装transformer_engine时候遇到了好久一直没成功。pip install 时候，到了编译阶段出错，发现 gcc版本，pytorch, transformer_engine版本，cuda版本，cudnn版本cmake版本不一样的时候，报错都不一样。于是在 https://github.com/NVIDIA/NeMo 网址上，找到nemo镜像。查看里面各个版本是什么，最后安装成功。
yolov5 yolov8 yolov10 Ultralytics 奇奇怪怪的错误汇总:【版本兼容，模型训练，数据加载，模型加速】
shiter编写程序的艺术
09-20 2109
用起来这么火的库，问题这么多么？
大语言模型原理与工程实践：手把手教你训练 7B 大语言模型 自动化训练框架
AI天才研究院
07-10 1363
近年来，大语言模型（Large Language Models，LLMs）在自然语言处理领域取得了突破性进展。从GPT-3到ChatGPT，再到最新的GPT-4，这些模型展现出了惊人的语言理解和生成能力，引发了学术界和产业界的广泛关注。然而，训练如此庞大的模型不仅需要海量的数据和计算资源，还需要复杂的工程实践和优化技巧。本文将深入探讨大语言模型的原理，并以7B参数规模的模型为例，详细介绍如何构建一个自动化训练框架，使读者能够亲自动手训练自己的大语言模型。
[论文笔记] Megatron LM环境安装
心宝的博客
10-15 760
概述：注意其他集群的TransformerEngine包，不可以直接搬运过来install，因为cmake文件有不同。。细节注意：安完环境时，重新启一个terminal测试——————————————————修改transformer_engine——————————————————————————————————————测试apex——————————————————————注意，安完apex的时候需要测试，能import amp_C才行！！如果⬆️安装成功， 就不用看下面的了。。
【基础架构篇五】《DeepSeek计算图解析：动静态图融合设计原理》
商务合作|问题讨论|交流学习 请联系作者微信，加微信请务必注明来意，博客主页有联系方式
02-18 92
各位炼丹师们，今天我们要聊的不是简单的"动态图好还是静态图好"这种幼儿园问题，而是要把计算图这个磨人的小妖精扒得连底裤都不剩！准备好你的量子波动速读能力，我们要从图灵机的纸带一路聊到量子计算的叠加态，全程高能预警！
transformers的安装
weixin_51230328的博客
04-24 1279
解决办法：第二天我将pycharm中的transformer相关的包复制到了jupyter中，然后直接运行是报错的，需要pip install transformer，就显示成功了！在网上试了各种解决办法，大都是换镜像源，或者使用conda install -c huggingface transformers安装(很慢）
[linux] AttributeError: module ‘transformer_engine‘ has no attribute ‘pytorch‘
心宝的博客
03-27 2821
其中这个答案并没有解决我的问题：import的flash_attn是xformers的包。。。cd到目录下 /mnt/nas/kexin/cv/Open-Sora/xformers/third_party/flash-attention/flash_attn_2_cuda.cpython-310-x86_64-linux-gnu.so。
TransformerEngine代码走读
u013250861的博客
01-07 1809
在几个月前nv就发表过关于fp8数制训练和推理的白皮书，大概三四个月前公开了他们针对transformer模型的fp8训练的软件库TransformerEngine，由于最近在关注fp8训练，因此想了解一下他们的实现方案，但是由于没有H100的卡，目前还不能跑通te的代码，很多细节没办法验证，只能通过源码的阅读来观察它插入了什么功能实现fp8量化训练，特此记录一下。从这些层面来说，te的代码阅读难度还好，大部分工作是基于pytorch的一些数据结构，涉及底层的代码也不算多。
安装python torch、transformer、记录
weixin_42538734的博客
03-21 5246
anaconda promt 命令框国内常用镜像源清华大学 ：https://pypi.tuna.tsinghua.edu.cn/simple/阿里云：http://mirrors.aliyun.com/pypi/simple/中国科学技术大学 ：http://pypi.mirrors.ustc.edu.cn/simple/华中科技大学：http://pypi.hustunique.com/豆瓣源：http://pypi.douban.com/simple/
一键安装tansformer
10-04 8268
transformer安装和测试
Transformers之环境安装
热门推荐
qq_35215756的博客
03-18 2万+
自定义安装，主要是为了在docker中使用conda虚拟环境。
使用Pytorch从零实现Transformer模型
穿着帆布鞋也能走猫步
04-10 3833
2017年Google在论文《Attention is All You Need》中提出了Transformer模型，并成功应用到NLP领域。该模型完全基于自注意力机制Attention mechanism实现，弥补了传统的RNN模型的不足。本文笔者将详解使用Pytorch从零开始逐步实现Transformer模型。
使用 Docker 快速上手 Stability AI 的 SDXL 1.0 正式版
折腾技术
07-29 2185
本篇文章，我们聊聊如何使用 Docker 来本地部署使用 Stability AI 刚刚推出的 SDXL 1.0，新一代的开源图片生成模型，以及在当前如何高效的使用显卡进行推理。
AttributeError: module 'transformer_engine' has no attribute 'common'
06-26
AttributeError: module 'transformer_engine' has no attribute 'common' 这个错误通常是当你尝试在Python代码中使用`transformer_engine`模块里的`common`属性或函数，但这个模块实际上并没有提供这个属性。这可能有以下几个原因： 1. 你可能拼写错误：检查你的代码中是否正确导入了`common`，有时候开发者可能会不小心输入错名字。 2. `common`可能不是该模块的默认部分：有些模块的某些功能被设计为内部使用，不直接暴露给用户，所以你需要显式地导入。 3. 版本问题：如果你使用的`transformer_engine`库的版本过旧或过新，可能已经移除了`common`属性。 4. 模块结构改变：模块的作者可能在更新中重构了代码，导致以前存在的属性被移到其他地方或者删除了。 为了解决这个问题，你可以按照以下步骤操作： - 确认`transformer_engine`模块是否有`common`这个属性，如果有，确保你的引用是正确的。 - 查阅相关的文档或源码，看看如何正确地访问`common`。 - 如果找不到，尝试使用`import transformer_engine.common`明确导入。 - 如果是版本问题，考虑升级或降级到支持`common`的版本。 相关问题： 1. `AttributeError`是什么错误类型？ 2. 如何避免在导入模块时遇到此类错误？ 3. 如果模块的API结构发生了变化，如何处理代码中的依赖问题？
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值