GLM4模型环境配置+模型微调+模型部署学习笔记

已于 2024-07-23 16:30:55 修改
阅读量2k 收藏 20
点赞数 5
分类专栏： 大模型 文章标签： 学习 笔记 人工智能
于 2024-07-23 16:24:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_42264784/article/details/140638059
版权

本篇文章的目的在于记录视频学习如何对大预言模型的实操

本次笔记来自b站视频:最新开源大语言模型GLM-4模型详细教程—环境配置+模型微调+模型部署+效果展示_哔哩哔哩_bilibili

环境配置 

 1.首先需要下载模型的项目

2.下载预训练语言模型

3.打开项目装环境点击进入read.me文件

安装时需要将requirement文件中的torch注释掉，之后单独装。

4.修改预训练语言模型路径

5.查看训练需要的内存： 在终端输入nvidia

6.提供了web端的演示

7.运行完后记得杀死进程

 微调和模型训练

阅读read.me文件,文档里说微调前需要安装依赖

多轮对话微调

运行这个文件就可以微调了

微调需要指定数据集、预训练的模型、lora微调的配置

 也可以用开源的微调框架微调

将微调项目打开和模型项目放置一起，除了个别库需要安装外不需要单独再全装requiremens文件的库。

在环境中运行这个包

 

如何把数据集放进来： 可以在redeme_zh.md中查看如何放置数据集

 

如何运行：

 

可以使用本地环境运行：上述打开本地环境输入相同 保存训练参数-载入-开始

训练好了之后点击chat查看微调效果作为检查点

可以最后导出模型

在windows笔记本电脑部署GLM4大模型
weixin_39945822的博客
06-13 5958
在Windows笔记本电脑上部署GLM4大模型。
GLM4指令微调实战（完整代码）
SoulmateY的博客
06-10 6389
GLM4指令微调实战，学习LLM微调的入门级任务，附带完整代码。
重磅！ 第四代GLM发布！清华大学THUDM发布 GLM-4和 GLM-Z1
最新发布
weixin_41446370的博客
04-16 1381
GLM 系列迎来了新成员–GLM-4-32B-0414 系列型号，拥有 320 亿个参数。其性能可与 OpenAI 的 GPT 系列和 DeepSeek 的 V3/R1 系列相媲美。它还支持非常方便用户的本地部署功能。GLM-4-32B-Base-0414 在 15T 的高质量数据（包括大量推理型合成数据）上进行了预训练。这为后续的强化学习扩展奠定了基础。在后训练阶段，我们针对对话场景采用了人类偏好对齐。
ChatGLM 4本地部署指南(Docker容器版)
Qinghub‘博客
06-06 6950
GLM-4V-9B 是智谱 AI 推出的最新一代预训练模型 GLM-4 系列中的开源多模态版本。 **GLM-4V-9B** 具备 1120 * 1120 高分辨率下的中英双语多轮对话能力，在中英文综合能力、感知推理、文字识别、图表理解等多方面多模态评测中，GLM-4V-9B 都表现出卓越性能。
ChatGLM4部署教程
SJJS_1的博客
08-13 1180
GLM-4-9B 是智谱 AI 推出的最新一代预训练模型 GLM-4 系列中的开源版本。在语义、数学、推理、代码和知识等多方面的数据集测评中，GLM-4-9B及其人类偏好对齐的版本均表现出超越 Llama-3-8B 的卓越性能。除了能进行多轮对话，GLM-4-9B-Chat 还具备网页浏览、代码执行、自定义工具调用（Function Call）和长文本推理（支持最大 128K 上下文）等高级功能。
GLM4实践-GLM4智能体的本地化实现及部署
YELLOWAUG的博客
04-03 7687
实现GLM4智能体的本地化部署及调用，本文较长，涉及的技术点也较多
大模型微调训练营-毕业总结
热爱生活~热爱工作~热爱每一天~
02-25 1689
在极客时间AI大模型微调训练营的学习经历让我实现了对AI趋势的深刻理解和微调技术的实践应用。作为AI业务落地和产品平台提效的专业人员，我通过这门课程深化了对AI技术发展浪潮的认识，掌握了大模型的核心技术，如提示工程、微调、预训练技术等，以及如何处理数据集和定位业务目标。实战练习，特别是使用Hugging Face Transformers和LangChain等工具的应用，极大地提升了我的实践能力，让我能够独立完成微调任务的分析、验证和应用落地，有效提升了工作效率并支持了公司项目的实施。
基于 Qwen2 大模型微调技术详细教程（LoRA 参数高效微调和 SwanLab 可视化监控）
老牛啊
07-20 3775
本教程详细介绍了 LoRA 参数高效微调技术，包括数据集准备和处理、模型加载、参数设置等，然后以 Qwen2-0.5B 预训练模型实践，进行了文本分类能力微调，微调过程通过 SwanLab 可视化界面查看，最终微调模型进行测试数据评估……
windows本地部署开源自然语言模型ChatGLM3-6b
weixin_40896800的博客
03-31 1676
ChatGLM3-6B 的基础模型 ChatGLM3-6B-Base 采用了更多样的训练数据、更充分的训练步数和更合理的训练策略。在语义、数学、推理、代码、知识等不同角度的数据集上测评显示，ChatGLM3-6B-Base 具有在 10B 以下的基础模型中最强的性能。默认情况下，模型以 FP16 精度加载，测试运行需要大概 16GB 显存。如果你的 GPU 显存有限，可以尝试以量化方式加载模型，或者CPU运算方式测试运行模型，下面流程是基于GPU的。
从零开始的Ollama指南：部署私域大模型
06-21 6954
Olama是一个旨在简化大型语言模型本地部署和运行过程的工具。它提供了一个轻量级、易于扩展的框架，让开发者能够在本地机器上轻松构建和管理LLMS。通过Olama，开发者可以访问和运行一系列预构建的模型，并与其他开源项目、应用程序进行耦合实现大模型应用开发。Ollama支持多场家、多尺寸、多模态的各类大模型。
Google 发布了最新的开源大模型 Gemma 2，本地快速部署和体验
老牛啊
07-02 7742
Google 重磅发布了最新版大语言模型Gemma 2，其中 90亿 参数版本适合我们个人在笔记本本地部署，老牛同学通过本文和大家一起，通过2种方式快速部署和体验，当然这2种快速部署模型的方式，也同样适用于其他大模型……
chatglm4本地部署详解
lstef的博客
06-16 7963
跟chatglm3回复速度相比，简直是慢动作中的慢动作。把它修改成glm-4-9b-chat的路径：/home/ls/文档/GLM4/glm-4-9b-chat。composite_demo文件夹中的requirements.txt文件夹，是此版本需要安装的依赖。accelerate>=0.30.1，也是类似情况，但指定源下载依然不奏效。（浏览器下载也失败了2次，反正都是断点续传，继续重复执行下载即可。glm-4-9b-chjat为已经训练的参数。另一种是，手动从web下载安装文件后安装。
ChatGLM4部署教程（非常详细）零基础入门到精通，收藏这篇就够了
2401_85280106的博客
12-26 2811
GLM-4-9B 是智谱 AI 推出的最新一代预训练模型 GLM-4 系列中的开源版本。在语义、数学、推理、代码和知识等多方面的数据集测评中，GLM-4-9B及其人类偏好对齐的版本均表现出超越 Llama-3-8B 的卓越性能。除了能进行多轮对话，GLM-4-9B-Chat 还具备网页浏览、代码执行、自定义工具调用（Function Call）和长文本推理（支持最大 128K 上下文）等高级功能。本代模型增加了多语言支持，支持包括日语，韩语，德语在内的 26 种语言。
OpenGL GLM环境配置
weixin_43805474的博客
06-18 1227
一、下载 GLM 去官网下载。这里附上一个 GitHub 的下载链接。是 glm 0.9.8.0 版本。 二、GLM 配置 下载完后解压一下，把整个 GLM 文件夹复制到你的项目所在文件夹下，如下图所示。 这个文件夹是 glm 父文件夹，不是子文件夹，里面的文件应该有这些。可以看到， glm 父文件夹下还有一个 glm 子文件夹。 在这里插入图片描述 然后，你需要进行一下链接。 右击 Project3 ，选择 Properties 。 在 C/C++ 中，点击 General ，选择 Additiona
GLM4大模型微调入门实战-命名实体识别（NER）任务
2401_84204207的博客
07-10 1796
大模型指令微调（Instruction Tuning）是一种针对大型预训练语言模型的微调技术，其核心目的是增强模型理解和执行特定指令的能力，使模型能够根据用户提供的自然语言指令准确、恰当地生成相应的输出或执行相关任务。指令微调特别关注于提升模型在遵循指令方面的一致性和准确性，从而拓宽模型在各种应用场景中的泛化能力和实用性。在实际应用中，我的理解是，指令微调更多把LLM看作一个更智能、更强大的传统NLP模型（比如Bert），来实现更高精度的NLP任务。
Datawhale出品：《GLM-4 大模型部署微调教程》发布！
Langchain的博客
06-13 1668
就在昨天，智谱 AI 发布了最新开源模型 GLM4,通过 10T 高质量多语言数据与更先进的训练技术,达到了更加出色的生成效果。
ChatGLM环境配置
qq_41592222的博客
04-09 1651
ChatGPT令人震撼的冲击下，笔者转向NLM的Transformer模型，ChatGLM作为清华开源的大语言模型，笔者尝试了其环境配置，为相关理论学习奠定基础。本文用于备忘与学习，无商业用途。
开源大语言模型部署(GLM-4、Qwen2)
a_dreaming的博客
07-22 6896
在本地运行大模型，需要先保证自己有足够的资源。大模型一般运行在GPU上，这里以GLM-4-9B和Qwen2-7B为例来说明其硬件要求情况。
GLM4-9B-chat模型微调
happyweb的专栏
06-18 3960
简单记录了对于新开源的GLM4-9B-Chat模型进行LoRA微调的全部过程。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值