- 博客(4)
- 收藏
- 关注
RSS订阅原创 - 使用 LMDeploy部署Llama 3
模型在运行时，占用的显存可大致分为三部分：模型参数本身占用的显存、KV Cache占用的显存，以及中间运算结果占用的显存。LMDeploy的KV Cache管理器可以通过设置--cache-max-entry-count参数，控制KV缓存占用剩余显存的最大比例。下面通过几个例子，来看一下调整--cache-max-entry-count参数的效果。参数设置为0.01，约等于禁止KV Cache占用显存，显存占用16G，如果你和模型对话，会发现慢一些，这是代价。可以看到，显存占用变为6582MB，明显降低。
2024-05-12 15:30:25
1222
原创 XTuner微调Llama3 个人小助手认知
基于「容器实例」，「镜像中心」，「分布式训练」，「公开数据集」模块为用户提供 “算力、算法、数据” 深度学习模型训练三要素，让算法开发变得更简单、更方便。如果报错一般是算力不够，算力不够可以用~/Llama3-Tutorial/tools/internstudio_quant_web_demo.py脚本。，2024-5-19前可以免费使用24G显存A100，如果发现是8G请加群联系助教。操作完成大家可以多看看里面脚本的代码，学习。使用环境：InternStudio。，切换到虚拟环境，已切换请忽略。
2024-05-12 12:04:42
505
原创 Llama 3 Web Demo 部署
OpenAIDE 是面向算法开发者与研究员的云端集成开发环境。基于「容器实例」，「镜像中心」，「分布式训练」，「公开数据集」模块为用户提供 “算力、算法、数据” 深度学习模型训练三要素，让算法开发变得更简单、更方便。或者软链接 InternStudio 中的模型。这里面已经预置部分环境。
2024-05-12 09:39:07
366
原创 用指针指向结构体的练习
第一次发博客，上一道刚写完的练习，哈哈，给大家打个招呼。 #include #define NUM 3 struct stu { int num; char *name; int score[3]; }; void main() { struct stu boys[NUM]={{0,"huanghe",999,66,55},{1,"hechuqi",222,77,78},{2,"zh
2012-03-17 18:08:43
243
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人