LLM模型的一些思考

已于 2023-06-20 20:32:06 修改
阅读量432 收藏 1
点赞数
文章标签： nlp
于 2023-06-15 20:39:28 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_43343486/article/details/131235414
版权
  1. 对通用LLM模型进行Fine-tuning操作（SFT，supervised fine tuning），带来的影响往往是有害的？从表象看，使用领域数据对LLM做Fine-tuning，通常会造成灾难性的“灾难遗忘”问题。简单点儿说，SFT在赋予对领域知识理解能力的同时，由于修正模型参数，导致模型遗忘之前学会的某些知识。
  2. 目前的“智能=压缩”的理论是否正确？LLM的压缩能力是否可以拆解成单个神经元的“压缩”能力，又或者说是Transformer的压缩能力，非线性的attention替换成类线性的attention时对“压缩”能力是否有积极作用？
  3. 在深层次的Transformer模型中，随着layer不断往上走：通过Attention把上文中与自己有关的信息集成到Embedding中，而每层的FFN对Embedding做变换以增加信息，不断触发FFN里存储的知识并逐层Refine对应的Embedding；从生成式任务loss角度看，链式的log交叉熵损失与这种现象是否符合？
  4. 用现有的已知现象解释过去的未知原因，这种穷举可能性的方式是否合理：LLM中，相同问题的不同表述在拆解成COT时，往往在LLM的网络中走相似、相近更或者相同的“子回路”，对于这种观测现象，是否可解释为与人思维决策与脑回路间的等价对应？\
  5. 增大基座模型的参数量+轻量化加速微调（lora，qlora）是否能够好于全量微调较小的模型
    （未完成……）
【LLM】sft和pretrain数据处理和筛选方法
发现问题，并解决问题，批判性思维
10-29 8545
# note - 痛点：训练垂直领域模型，sft数据和增量pretrain数据质量把控很重要 - 当数据不够时，通过self-instruct等方法造多样化的数据 - 当数据很多时，需要清洗/筛选出高质量数据 @[toc] # 一、sft数据的筛选策略 内容概要： - 构造sft数据 - 评估sft数据质量和数量 - 自动化筛选高质量sft数据 ## 1.1 使用self-instruct构造sft数据 论文：《Self-Instruct: Aligning Language Model wit
【人工智能】LLM 大型语言模型发展历史
热门推荐
AI天才研究院
05-28 1万+
大型语言模型（Large Language Models，LLM）是指基于神经网络模型的自然语言处理技术，它可以通过大规模的训练数据和计算资源来预测自然语言文本的下一个词或句子。近年来，由于技术的不断进步和计算资源的不断增加，LLM已成为自然语言处理领域的一个热门技术。本文将从LLM的发展历史、技术原理、应用场景和未来发展趋势等方面进行介绍。“所有样本的联合概率分布”是指数据集中所有样本出现的概率分布。在机器学习中，我们通常使用这个概念来表示一个模型在给定数据集的条件下，对所有样本的预测概率分布。
速通LLM——SFT、RLHF、对齐、RAG、微调大扫盲
2401_85379281的博客
10-02 4276
LLM（large language model）技术发展到今天，已经有许多代码和权重都开源的模型（如llama2等）供开发者下载使用。语言模型的本质是通过算法预测下一个位置上出现概率最高的字或词，LLM的预训练阶段通常是无监督或自监督的，例如通过bert模型完成类似于完型填空的任务，数据通常来源于互联网上的大量预料。预训练后的LLM已经具备了基础的语言理解或预测能力，但可能存在输出不符合人类表达习惯或道德准则，或在特定场景或垂直领域（比如数学计算，推理等）中的表现不尽人意等问题。这就需要对预训练后的大模
[LLM] 大模型基础｜预训练｜有监督微调SFT | 推理
摩登都市天空---专栏
03-18 8575
向量来屏蔽不希望计算loss的部分，下面就是数据构造的一个示意：做的事情就是拼接prompt和answer，并在answer两侧添加一个开始和结束的符号，算一下prompt/instruction的长度，以及后面需要pad的长度，然后生成一个mask向量，answer部分为1，其他部分为0。，也就是transformer(X)的维度还是(1,10,768)，接下来就是基于它来进行预测了，因为要预测哪个词，词的可能情况就是词表的大小，所以做的就是一个。通常LLM的预训练是无监督的，但微调过程往往是有监督的。
LLM常见面试问题- SFT篇
最新发布
m0_48891301的博客
05-01 966
这个说法不一，所以要根据自己场景选用不同的方法，如果资源充足的话，建议SFT和PEFT都尝试一下，选用效果最用的方式，如果资源不足，建议选PEFT。从理论分析上来看，SFT会修改大模型全量参数，可以在数据量充足的情况下学习更多的内容，效果上限应该更高，但也存在灾难性遗忘等不稳定情况。
LLM - 数据处理之 Process Dataset For LLM With PT、SFT、RM
BITDDD小栈
09-13 2107
基于 PT、SFT、RM 的 Dataset 预处理。
大模型LLM之SFT微调总结
lq_fly_pig的博客
05-09 7168
SFT的主要是使用于领域相关能力的增强，如果通过大模型通用能力，例如embedding、prompt提取、Lang Chain等知识库的形式可以解决的，没有必要再进行SFT微调通用大模型泛化性好，精度不够，SFT后的模型领域体验更佳，两者可能是并行存在较好SFT中仅使用领域数据，会导致通用能力下降以及安全相关回复能力的下降甚至丢失，因此需要人工梳理，增加数据的多样性的同时并把握好SFT数据的质量，质量非常重要SFT不要训练较多轮次，
大型语言模型（LLM）理论简介
Code365
07-08 1万+
大语言模型（LLM，Large Language Model），也称大型语言模型，是一种旨在理解和生成人类语言的人工智能模型。LLM 通常指包含数百亿（或更多）参数的语言模型，它们在海量的文本数据上进行训练，从而获得对语言深层次的理解。目前，国外的知名 LLM 有 GPT-3.5、GPT-4、PaLM、Claude 和 LLaMA 等，国内的有文心一言、讯飞星火、通义千问、ChatGLM、百川等。为了探索性能的极限，许多研究人员开始训练越来越庞大的语言模型，例如拥有1750 亿参数的GPT-3和。
【附代码】Mind Evolution 探索 LLM 的深度思考
步子哥的博客
01-23 808
Mind Evolution 不仅是一种技术上的创新，更是一种思维方式的革新。它通过将进化论的思想引入 LLM 的推理过程，成功实现了“从生成到进化”的飞跃。这项研究为 LLM 在复杂问题上的应用开辟了新的可能性，也为我们理解智能的本质提供了新的视角。正如论文所展示的那样，进化的力量不仅存在于生物世界，也可以在人工智能的领域中焕发光彩。
开源LLM大模型聊天
2401_85324918的博客
07-27 995
在人工智能领域，大型语言模型（）已经成为了一种备受瞩目的技术。它们以巨大的参数规模和海量的数据训练为基础，能够实现自然语言生成、对话系统、问答系统等多种功能。其中，ChatGPT作为OpenAI开发的一款大型语言模型，已经在全球范围内引起了广泛的关注。本文将为您介绍一些开源的LLM大模型聊天技术，帮助您更好地了解这一领域。一、ChatGPTChatGPT是由OpenAI开发的一款大型语言模型，具有1750亿个参数。它采用了Transformer架构，通过海量的文本数据训练，实现了高质量的对话生成能力。
多模态大模型：技术原理与实战 在LLM时代，对软件研发的更多思考
AI天才研究院
06-06 1025
多模态大模型：技术原理与实战 在LLM时代，对软件研发的更多思考 1. 背景介绍 1.1 大模型的崛起 近年来,人工智能领域出现了一个新的研究热点——大模型(Large Language Models,LLMs
LLM - SFT workflow 微调工作流程
BITDDD小栈
09-14 1205
LLM SFT 有监督微调 workflow 工作流详解。
【LLM数据篇】预训练数据集+指令生成sft数据集
发现问题，并解决问题，批判性思维
08-20 1万+
在《Aligning Large Language Models with Human: A Survey》综述中对LLM数据分类为典型的人工标注数据、self-instruct数据集等 优秀的开源sft数据集：alpaca_data、belle、千言数据集、firefly、moss-003-sft-data多轮对话数据集等 文章目录 note 构造指令实例的3种方式 sft：Aligning Large Language Models with Human: A Survey Alpaca 1. self
LLM记录-常见问题部分
weixin_46566149的博客
12-15 1391
LLMs复读机问题指的是模型倾向于不适当地复制用户输入的文本或者在回复中重复使用相同的句式和短语。这种倾向可能源自模型在处理输入时的一种简便路径，即模仿而不是创造性地响应。生成的内容往往缺乏变化和新颖性，这使得交互体验变得预测性强且单调。CRF 的核心思想是训练 Transitions 矩阵，该矩阵主要是刻画 tag 与 tag 之间的变化关系。CRF的作用是通过刻画这种关系来约束模型的生成，比如 BIO， B后面是I， I前面不能是O等。CRF 的损失函数是 正确路径的得分 - 所有路径的得分和。
【LLM第四篇】名词解释：SFT
凝眸伏笔的博客
05-07 2307
SFT的流程包括数据生产、模型选型、模型微调、效果验证几个环节，每一步都存在相应的技术挑战：（1）
详解各种LLM系列｜（2）LLaMA 2模型架构、 预训练、SFT、RLHF内容详解（PART-2）
weixin_49659123的博客
12-09 2188
这一篇继续详细深入Llama 2的 RLHF内容，以及其实现的实验结果
LLM概念梳理（一）：训练流程之PT、SFT和PO
Bat_Reality的博客
08-20 1778
SFT、RLHF 和 DPO 都是先估计 LLMs 本身的偏好，再与人类的偏好进行对齐；SFT 只通过 LLMs 生成的下一个单词进行估计，而 RLHF 和 DPO 通过 LLMs 生成的完整句子进行估计，显然后者的估计会更准确；虽然 RLHF 和 DPO 取得比 SFT 好的结果，但代价是高昂的数据构造和计算资源开销。6000字长文告诉你：大模型「训练」与「微调」概念详解带人工反馈的强化学习（rlhf）和微调（fine-tune）有什么区别？
深入解析LLM预训练与SFT对齐：Loss函数差异与代码解析
2401_85375186的博客
12-12 1754
特征预训练对齐 (SFT)目标学习通用语言表示迁移到特定任务数据海量未标注数据高质量标注数据Loss函数自监督学习 (MLM, CLM)监督学习 (Cross-Entropy, MSE)Loss特点数值较大，关注语言理解数值较小，关注任务表现需要注意的是，以上只是一些常见的区别，实际情况可能更加复杂。例如，有些预训练任务也会使用少量标注数据，而有些对齐任务也会使用自监督学习方法。总的来说，预训练和对齐阶段的loss函数设计都至关重要，它们共同决定了LLM最终的性能。
AIGC：【LLM（一）】——LoRA微调加速技术
u013010473的博客
05-04 7723
LoRA的实现原理在于，冻结预训练模型权重，并将可训练的秩分解矩阵注入到Transformer层的每个权重中，大大减少了下游任务的可训练参数数量。对大规模的PLM进行微调往往成本过高，在这方面，PEFT方法只对少数（额外的）模型参数进行微调，基本思想在于仅微调少量 (额外) 模型参数，同时冻结预训练 LLM 的大部分参数，从而大大降低了计算和存储成本，这也克服了灾难性遗忘的问题，这是在 LLM 的全参数微调期间观察到的一种现象PEFT 方法也显示出在低数据状态下比微调更好，可以更好地泛化到域外场景。
Huggingface中Mistral语言模型的自学思考实现分析
9. LLM（语言模型）标签：LLM是语言模型（Language Model）的缩写，它是人工智能领域的一个重要分支，专注于建立能够理解和生成人类语言的模型。 10. 可重复性：在科学研究中，可重复性是指其他研究者能够使用相同...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值