ChatGLM Lora微调时出现“context”键错误的解决方案

Python 专栏收录该内容
¥99.90 ¥299.90
418篇文章

ChatGLM Lora微调时出现“context”键错误的解决方案

在进行ChatGLM Lora微调时,出现了“KeyError: ‘context’” 键错误,这个错误的解决方案比较简单。本文将给大家介绍如何解决这个问题。

首先,让我们来看一下出现这个错误的原因。这个错误是由于代码中缺少“context”这个关键字而产生的。在ChatGLM Lora微调中,我们需要对数据进行分析和处理,使用到了“context”这个关键字,但是如果我们没有定义或者缺少了这个关键字,就会导致程序运行出错。

针对这个错误,我们可以通过添加如下代码解决:

context = None

这行代码的作用是定义一个空的“context”变量,避免在后续的代码中出现缺少“context”这个关键字的错误。我们可以在代码的开头添加这行代码,从而避免这个错误的发生。

下面是一个代码示例:

# 导入相关库
from chatglm.lora import Lora

ChatGLM-4本地部署实战:vLLM高效推理、魔塔Embedding与LoRA微调全解析 大语言模型(LLM)的本地部署与应用是当前AI工程实践的热点。其核心原理在于通过预训练模型学习海量数据中的语言规律,实现文本生成与理解。为了提升模型在实际场景中的可用性,需要解决推理速度、语义理解准确性和领域适应性问题。vLLM作为高效推理引擎,通过创新的PagedAttention机制,显著提升了GPU利用率和并发处理能力,解决了模型“跑得慢”的瓶颈。Embedding技术则将文本转换为向量表示,是构建语义搜索和RAG(检索增强生成)系统的基石,魔塔(ModelScope)提供的中文Embedding模型 阅读详情

相关推荐

从零部署ChatGLM-4:vLLM推理、Embeddings检索与模型微调实战

大语言模型(LLM)的部署与应用是当前AI工程实践的核心。其原理在于通过预训练获得通用语言理解与生成能力,而技术价值在于将这种能力高效、低成本地转化为实际生产力。在应用场景上,企业常需将通用模型与私有知识结合,并针对特定任务进行优化。这便引出了检索增强生成(RAG)和模型微调(Fine-tuning)两大关键技术。RAG通过Embeddings模型将文本转化为向量,实现海量知识的快速检索与匹配,从而为LLM提供精准的上下文信息。而模型微调,特别是参数高效微调(PEFT)技术如LoRA,则能以较低成本让通用模

weixin_30617737的博客 412

vLLM+ChatGLM-4+魔塔Embeddings:本地部署、检索与微调实战指南

大语言模型(LLM)的本地部署与应用是当前AI工程实践的热点。其核心原理在于通过模型量化、注意力优化等技术,在有限硬件资源下实现高效推理。vLLM框架凭借其PagedAttention算法,能显著提升推理速度并降低显存占用,解决了个人开发者部署大模型时面临的“显存不够、速度慢”等核心痛点。结合魔塔(ModelScope)提供的稳定、针对中文优化的Embeddings模型,可以轻松构建本地知识库与智能检索应用,有效规避了网络环境下的常见报错。最终,通过参数高效微调(PEFT)技术如LoRA,开发者能够以较低成

weixin_30411239的博客 368

大模型微调实战:从LoRA到QLoRA,7种主流方法详解与选择指南

在人工智能领域,大模型微调是提升模型在特定任务上性能的关键技术。其核心原理是通过在预训练模型的基础上,使用特定领域数据对模型参数进行针对性调整,使模型从“通才”转变为“专才”。这项技术的核心价值在于,它能以远低于从头训练的成本,让通用大模型快速适应垂直场景需求,如企业知识问答、代码生成、风格化写作等。参数高效微调技术,特别是LoRA及其变种,通过冻结大部分原始参数、仅训练少量新增参数,在保持高性能的同时大幅降低了计算和存储开销。其中,LoRA利用低秩矩阵分解实现高效适配,而QLoRA进一步结合4-bit量化

weixin_33842304的博客 333

基于LoRA微调大模型根治RAG幻觉:从原理到工程实践

检索增强生成(RAG)系统通过结合信息检索与大型语言模型生成能力,旨在提升问答的准确性与事实依据。然而,通用大模型在垂直领域常因知识不足或指令遵循偏差产生“幻觉”,即生成与检索上下文不符或虚构的内容,影响系统可信度。其核心原理在于模型未能严格约束于给定上下文,而倾向于激活自身参数中的通用知识。为解决此问题,指令微调技术应运而生,它通过在特定领域的高质量问答数据上训练模型,强化其根据给定上下文生成答案的能力,从而显著提升事实一致性与领域适应性。在工程实践中,借助LoRA等高效微调方法,开发者能以较低显存开销在

weixin_34347651的博客 371

AI大模型学习路径:从Transformer到RAG与LoRA微调的实践指南

Transformer架构作为现代大语言模型的核心基础,通过自注意力机制实现了对长序列数据的高效建模,奠定了自然语言处理领域的技术基石。其编码器-解码器结构及衍生出的仅解码器架构,支撑了从BERT到GPT系列模型的演进。这一原理催生了预训练、微调和提示工程等关键技术范式,使得模型能够从海量数据中学习通用知识,并高效适配特定任务,极大地推动了AI技术的工程化落地。在应用层面,检索增强生成(RAG)通过结合外部知识库与生成模型,有效缓解了模型幻觉问题,提升了回答的准确性与可信度;而参数高效微调技术(如LoRA)

weixin_30432579的博客 347

金融大模型问答机器人实战:从RAG架构到LoRA微调的完整工程指南

检索增强生成(RAG)是当前构建专业领域大模型应用的核心技术范式,它通过将外部知识库与大型语言模型(LLM)相结合,有效解决了模型幻觉与知识滞后问题。其原理在于,当用户提问时,系统首先从向量数据库中检索出最相关的文档片段,再将这些片段作为精准的上下文提供给模型,从而生成基于事实的可靠答案。这项技术的核心价值在于,它使通用大模型能够快速、低成本地获得垂直领域的专业知识,是实现AI应用私有化、安全可控部署的关键。在金融、法律、医疗等对准确性要求极高的场景中,RAG结合模型微调(如LoRA)已成为主流解决方案。本

weixin_30546189的博客 448

ChatGLM lora微调时出现KeyError: ‘context‘的解决方案

本文主要介绍了ChatGLM lora微调时出现KeyError: 'context’的解决方案,希望能对学习ChatGLM lora微调的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案

weixin_43178406的博客 10万+

ChatGLM LoRA微调实战方案

本文主要介绍了ChatGLM LoRA微调实战方案,希望对学习大语言模型的同学们有所帮助。微调后的推理截图如下所示。 文章目录 0. 简介 1. 安装虚拟环境 2. 下载文件 2.1 下载源代码 2.2 下载模型依赖文件 2.3 下载模型文件 3. 安装依赖库 4. LoRA微调 4.1 下载源代码 4.2 数据格式转换 4.3 tokenize 4.4 微调 5. 推理

herosunly的博客 17万+

低成本LoRA微调ChatGLM3-6B:从数据准备到模型部署

大模型微调是推动AI应用落地的关键环节,但全参微调动辄需要多张高端显卡,门槛极高。参数高效微调技术LoRA通过冻结原模型权重、仅训练低秩矩阵,将可训练参数量降低几个数量级。以ChatGLM3-6B为例,采用LoRA后,24GB甚至16GB显存即可轻松完成训练,并在4bit量化下进一步压缩至8GB。基于这一方案,完整实践涵盖环境配置、特殊token数据构造、SFTTrainer训练参数调优、显存优化三板斧,以及模型合并与量化部署。从数据准备到推理验证,结合常见问题排查,帮助开发者低成本实现垂直领域大模型定制,

weixin_33525298的博客 283

OCTA-500:用于光学相干断层扫描血管造影研究的视网膜数据集|文献速递-基于生成模型的数据增强与疾病监测应用

数据集提供了丰富的图像和注释,包括两种模态(OCT/OCTA体积)、六种投影类型、四种文本标签(年龄/性别/眼别/疾病)以及七种分割标签(大血管/毛细血管/动脉/静脉/2D FAZ/3D FAZ/视网膜层)。我们介绍了新的 OCTA-500 数据集,该数据集包含来自 500 名受试者的 OCTA 成像,并提供了丰富的图像和标注集。(C) OCTA-500 切片的人工标注示例。图 4. OCTA-500 数据集中文本标签的统计直方图:(a) 性别,(b) 眼别,(c) 年龄,(d) 疾病。

weixin_38594676的博客 1439

大模型微调框架之TRL

近年来,大语言模型(LLMs)的快速发展推动了下游应用的繁荣,但如何高效地对这些模型进行对齐和微调,依然是研究与应用的热点。Hugging Face 开源的 TRL(Transformer Reinforcement Learning) 框架,提供了基于强化学习的语言模型训练方法,并支持 SFT(监督微调)、PPO(近端策略优化)、DPO(直接偏好优化)等多种方式,是目前对齐和微调 LLM 的重要工具。

和大家一起涨芝士 905

得利捷datalogic扫码枪调试说明

针对得利捷datalogic扫码枪快速调试并,可以根据详细步骤设置扫码枪,并配有tcp调试助手辅以验证,以达到快速调试完成扫码枪的工作。

Conway510的博客 1万+

使用VIVADO 2019.1 搭建以太网接口

以太网 MAC+SGMII->GMII接口转换 以FPGA V7为例,搭建一个千兆以太网接口。运行环境为Vivado2019.1。板卡的FPGA V7与千兆网口芯片采用SGMII互联,最终实现FPGA与上位机之间的千兆网卡通信,实际实现时,V7采用MAC + GMII ->SGMII的结构。SGMII接口使用1G/2.5G Ethernet PCS/PMA or SGMII ip核,MAC层使用Tri Mode Ethernet MAC ip核。 由于MAC层IP不支持SGMII接口,因此需要G

qq_44641513的博客 8415

计算机视觉 | 面试题:01、过拟合和欠拟合的表现与解决方法

问题 过拟合和欠拟合的表现和解决方法。 其实除了欠拟合和过拟合,还有一种是适度拟合,适度拟合就是我们模型训练想要达到的状态,不过适度拟合这个词平时真的好少见,在做酷狗音乐的笔试题时还懵逼了一会,居然还真的有这样的说法。 这应该是基础中的基础了,笔试题都做烂了。那就当做今天周末,继续放个假吧…… 过拟合 过拟合的表现 模型在训练集上的表现非常好,但是在测试集、验证集以及新数据上的表现很差,损失曲线呈现一种高方差状态。(高方差指的是训练集误差较低,而测试集误差比训练集大较多) 过拟合的原因 从两个角度去分析

Mrrunsen的博客 869

操作系统权限提升(十五)之绕过UAC提权-基于白名单DLL劫持绕过UAC提权

先将操作在本地执行,使用procmon进行监控,过滤DLL和 NAME NOT FOUND ,寻找可以替换的DLL文件,注意文件的权限是否可以在目录写入,可以看到在C盘的tools目录的文件中有一个srrstr.dll被调用,但是没有加载,我们生成恶意的DLL文件看看是否可以被劫持。在Windows中许多应用程序并不是一个完整的可执行文件,它们被分割成一些相对独立的动态链接库文件,即dll文件,放置于系统中,个人理解类似于我们编程中引入的模块。将我们生成的DLL文件改名为我们要劫持的DLL文件名。

把自己活成一道光,因为你不知道,谁会借着你的光,走出了黑暗。请保持心中的善良,因为你不知道,谁会借着你的善良,走出了绝望。请保持你心中的信仰,因为你不知道,谁会借着你的信仰,走出了迷茫。请相信自己的力量,因为你不知道,谁会因为相信你,开始相信了自己.... 1875

传感器使用——ESP-WROOM-32 and INMP441麦克风音频采集

传感器使用——ESP-WROOM-32 and INMP441麦克风音频采集,数据显示及matlab操作界面。

qq_41958946的博客 7357

从零实现深度学习框架——理解正则化(一)

本文介绍解决过拟合与欠拟合的方法——正则化,主要介绍L1和L2正则化。

日积月累,天道酬勤 3394

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

上一篇: pandas计算dataframe数据行的均值实战:设置skipna=False可以计算含有NaN值的行均值
下一篇: Python实现基本图算法及完整源码
普通网友
博客等级 码龄4年 641粉丝 1373原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

code_welike

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值