本文介绍了LLM模型CodeFuse-CodeGeeX2-6B的搭建过程。首先说明可在魔搭社区找到该模型，接着提到搭建环境可选择ModelScope默认环境或阿里云DSW，使用GPU选后者。搭建时按指引安装依赖，遇到问题通过调整transformers和torch版本解决，最后顺利跑出demo代码。
1、在哪里找LLM模型
在里面找到需要部署的CodeFuse-CodeGeeX2-6B：CodeFuse-CodeGeeX2-6B · 模型库 (modelscope.cn)
2、在什么环境搭建
可以使用ModelScope默认的环境，CPU免费，GPU有使用时常，也可以自己挂阿里云的DSW，这里使用ModelScope的，因为要用GPU所以选择后者
3、怎么搭建
按照ModelScope的模型指引页面，安装好对应的依赖。这边安装完毕后，跑样例代码遇到两个问题：
1）AttributeError: ‘ChatGLMTokenizer‘ object has no attribute ‘tokenizer‘
通过调整transformers版本解决：pip install transformers==4.33.2
2）cutlassF: no kernel found to launch!
通过调整torch版本解决ÿ
最低0.47元/天 解锁文章
扫一扫
1162
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
