python&anconda系列：【ChatGLM2-6B】运行问题、【ChatGLM2-6B】环境部署

已于 2023-12-25 19:32:57 修改
阅读量4.7k 收藏 7
点赞数 11
CC 4.0 BY-SA版权
分类专栏： # python 文章标签： python 开发语言
于 2023-12-24 16:56:09 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_54626591/article/details/135182850
python 专栏收录该内容
332 篇文章 ¥99.90 ¥299.90
订阅专栏

【ChatGLM2-6B】环境部署

完整部署过程：

  1. Anacond安装
    Python&aconda系列：Anacond、Miniconda的下载安装配置教程详解

  2. CUDA、cuDNN安装
    python&anconda系列（亲测有效）：window11系统CUDA、cuDNN 安装以及环境变量配置

  3. Pytorch安装
    Python&anconda系列（亲测有效）：安装pytorch以及报错AssertionError: Torch not compiled with CUDA enabled解决方法

  4. 【ChatGLM2-6B】下载并启动
    python&anconda系列：ChatGLM:本地化搭建大模型实例

<
了解本专栏 订阅专栏 解锁全文
python&anconda系列（亲测有效）：ChatGLM：win11部署大模型实例并正常启动、ChatGLM2-6B 模型基于 P-Tuning v2 的微调
weixin_54626591的博客
12-27 2805
ChatGLM：win11部署大模型实例并正常启动、ChatGLM2-6B 模型基于 P-Tuning v2 的微调
python&anconda系列：ChatGLM:本地化搭建大模型实例
weixin_54626591的博客
12-17 2068
ChatGLM:本地化搭建大模型实例
ChatGLM-6B模型部署【BUG 记录】AssertionError: Torch not compiled with CUDA enabled
qq_45599476的博客
10-08 1065
安装完成后，你可以使用以下命令在命令行中验证CUDA是否成功安装：cuda_12.2.2_windows_network和本地有啥区别。
text-generation-webui加载chatglm2-6b时，报错，要求set the option trust_remote_code=True
qq_40600379的博客
07-30 8663
使用text-generation-webui加载chatglm2-6b大模型时报错，要求设置option trust_remote_code=True，一开始没注意界面，去翻找配置文件，后来发现，就在Model界面，有一个复选框，可以进行设置！】，可以看到回复了是【ChatGLM2-6B人工智能助手…3、待加载完后，可以看到【Successfully loaded THUDM_chatglm2-6b】的输出。2、此时，可以看到命令行中，开始在下载和加载checkpoint了。
RuntimeError: CUDA out of memory.【多种场景下的解决方案】
创作高质量博文，分享知识，共同进步！
02-20 4921
🚀 探索CUDA内存溢出问题的多种解决方案！🔍 🌵 在深度学习和机器学习的旅程中，你是否曾遇到过“CUDA out of memory”的错误信息，让你的项目突然停滞不前？😵 不用担心，我们为你准备了多种场景下的解决方案！ 💡 无论是首次运行完整项目时的困惑，还是前几次执行顺利后突然遭遇的报错，我们都提供了具体的解决方法。无论是切换GPU，优化代码结构，还是使用显存分析工具，我们都有详细的步骤和提示。
【debug记录】ChatGLM2-6b微调中遇到的问题
beiyoulijun的博客
08-30 1362
fix：在报错点发现获取到的 master_addr 为自定义的主机名而非 localhost，导致网络连接错误，故将 ~/anaconda3/envs/chatglm2-6b/lib/python3.10/site-packages/torch/distributed/rendezvous.py 的244行将 master_addr 变量强制设为127.0.0.1而非自定义的主机名。
torch.cuda.OutOfMemoryError: CUDA out of memory.
Hello_World1023的博客
04-25 4万+
发现gpu:0显存被PID:19409程序大量占用, 报错应该是默认在gpu:0训练导致显存不足, 接着查看gpu:0上程序所属用户(如果不是师兄的我就kill了)设置完成后查看显存占用情况可以看到, gpu:1显存占用马上上升了, 不影响其他gpu卡的显存。这样即可指定在gpu:1上训练, 实际上是只设置gpu:1可见, 而屏蔽其他gpu卡。这样即可指定在gpu:1上训练, 实际上是只设置gpu:1可见, 而屏蔽其他gpu卡。发现gpu:1空闲, 指定gpu:1上训练模型, 有多种方法,
chatglm3的docker部署
qq_19072921的博客
07-25 775
chatglm3的docker部署
python&anconda系列（亲测有效）：AttributeError: ‘Textbox‘ object has no attribute ‘style‘. Did you mean:‘scal
weixin_54626591的博客
09-12 175
【已解决】AttributeError: ‘Textbox‘ object has no attribute ‘style‘. Did you mean: ‘scale‘?
20240303期：安装算法依赖时版本报错，依赖之间对应版本问题解决
weixin_55429615的博客
03-05 2786
安装深度学习算法各个依赖之间是有版本对应关系的。
部署微调ChatGLM遇到的问题及解决方案
m0_73185787的博客
10-16 1820
问题2：home/user/.local/lib/python3.10/site-packages/gradio/helpers.py:818: UserWarning: Using the update method is deprecated. Simply return a new object instead, e.g. return gr.Textbox(...) instead of return gr.update(...)2.因为此文件是我们自己加进去的，需要给予此文件权限（！
【ChatGLM2-6B】问题解决cannot import name ‘Doc‘ from ‘typing_extensions‘
Java技术栈，分享不断学习、不断超越、不断积累的历程！
11-02 6263
在运行ChatGLM2-6B大语言模型和使用P-Tuning训练的时候，出现如下错误。
ChatGLM2-6B安装详解（Windows/Linux）及遇到的问题解决办法
满目星辰
06-29 1万+
最近ChatGLM-6B发布了第二代ChatGLM2-6B，于是果断部署了一下试试水。下面讲解详细部署过程，并讲解部署时候遇到的问题以及解决办法。
本地安装部署运行 ChatGLM-6B 的常见问题解答以及后续优化
chaishen10000的专栏
06-18 1万+
如果你电脑内存实在捉襟见肘的话，可以选择直接使用现成的INT4量化模型，这样内存中只需要占用5.5GB左右了，使用GPU运行时，8G内存的电脑也可以一战了，使用CPU运行时，可以允许24GB甚至16GB内存的电脑运行，显著降低运行配置。比如将 Temperature 设置为 0.05 和 0.95 的主要区别在于，T=0.05 会使得模型更加自信，更加倾向于选择概率最大的类别作为输出，而 T=0.95 会使得模型更加不确定，更加倾向于输出多个类别的概率值较大。（你需要那个文件就改哪个文件，不需要全改）
部署清华ChatGLM2-6B模型
weixin_42410426的博客
07-21 1309
1、使用命令查看现有的torch 如下图 (下图是已经切换过来的，之前没有+cu117)注意下载的内容和版本，（torch，torchvision）网络环境不是太差多刷新几次都能进去，不需要魔法，有的更好。1、切换下载源到国内 （对网速有信心的这步可以跳过）1、修改模型位置（换成你实际的模型地址）下载INT4量化模型库，修改代码。2、在克隆下来的代码中安装依赖。3、查看可安装的版本 如图。2、卸载当前torch。4、然后下载离线资源。6、验证是否安装成功。
python 错误： ImportError: cannot import name xxx
hekkoo的博客
03-24 7615
python 中，使用import时会先从当前目录找起，因此，如果自己写的文件的名称与要引用的模块的文件名相同，则会出现importError
ImportError ：cannot import name xxxxxx 的三种类型的解决方法
热门推荐
Activewaste
06-28 20万+
网上关于这种问题的解决方案一大堆，但是绝大多数都是不适用，或者说解决不了问题，我根据别人所遇到的和我自己遇到的，对这个问题整理了一下，希望能解决这个问题。 一、缺少这个module或者func或者package 缺少python的各种package的话，就自己pip一下 根据路径去找，发现是否忘记导入了 二、命名问题 这个问题也是很难容易解决，找一下路径，对应一下两个name，改一下就行。 还有可能出现这种情况的是你使用的是别的官方的代码，版本升级，导致这个函数不用了，改成了另一个函数了，这个时候就要
【Python报错】已解决ImportError: cannot import name ‘xxx‘
qq_38614074的博客
06-06 5万+
通过检查拼写和大小写、确保模块和成员存在、解决循环导入、检查Python环境以及使用IDE或文本编辑器的帮助，你可以成功解决这个错误并使你的程序正常运行。在编写代码时，注意保持代码的清晰和简洁，并遵循Python的编程规范，这将有助于减少错误并提高代码的可读性和可维护性。：如果你的Python环境配置不正确，比如使用了错误的Python版本或虚拟环境，也可能导致导入错误。可以查阅模块的官方文档或源代码以确认正确的成员名。如果是因为版本不兼容导致的问题，你可以尝试升级或降级模块到一个与你的代码兼容的版本。
(新手亲测有效)bug解决：在用显存24G的3090采用LoRA微调ChatGLM-6B（FP16）时报错torch.OutOfMemoryError:CUDA out of Memory.
weixin_41784510的博客
02-02 2414
在解决了alueError: Attempting to unscale FP16 gradients. 和 AttributeError: 'ChatGLMTokenizer' object has no attribute 'sp_tokenizer'. Did you mean: '_tokenize'?这两个bug后，在GPU0上运行时，不再有torch.OutOfMemoryError:CUDA out of Memory.报错。
D:\python\anconda>conda update --all Solving environment: failed CondaValueError: Malformed version string '~': invalid character(s).
最新发布
09-21
当您在D:\python\anconda目录下使用`conda update --all`时，收到类似`CondaValueError: Malformed version string '~': invalid character(s)`的错误，这是因为Conda在解析版本字符串时遇到了无效字符。`~`在这种上下文中不是一个合法的版本号标识符。 这个错误可能是由于以下几个原因： 1. 特殊字符误入：`~`通常表示用户的主目录，在版本字符串中不是有效的部分。可能是某个包的名称包含了无效字符或者是一个临时文件名。 2. 包信息损坏：某个包的元数据可能已经损坏，包含了一个不正确的版本字符串。 3. 本地索引问题：如果使用的conda源有问题，可能返回了不完整的或格式不正确的包信息。 要解决这个问题，您可以尝试以下步骤： - 清除缓存：`conda clean --all` - 检查是否有异常的包：检查`conda list`看是否有显示`~`的包，手动卸载然后重新安装。 - 更新conda到最新版：`conda update conda` - 检查是否可以从官方或其他可信源下载：更换或添加其他conda源(`conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/main`等)。 - 如果以上都无效，可能需要删除有问题的环境，重新创建一个新的环境，并再次尝试更新。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

坦笑&&life

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值