<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[m0_37531129的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/m0_37531129</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; m0_37531129]]></copyright><item><title><![CDATA[大模型学习笔记 - LLM 之RAG]]></title><link>https://blog.youkuaiyun.com/m0_37531129/article/details/141530184</link><guid>https://blog.youkuaiyun.com/m0_37531129/article/details/141530184</guid><author>m0_37531129</author><pubDate>Sun, 25 Aug 2024 15:45:14 +0800</pubDate><description><![CDATA[纯参数化语言模型 （LLM） 将其从大量语料库中获得的世界知识存储在模型的参数中。然而，这种模型有其局限性。首先，很难从训练语料库中保留所有知识，尤其是对于不太常见和更具体的知识。（幻觉，答案缺乏透明度）。其次，由于模型参数不能动态更新，参数化知识容易随着时间的推移而过时。（知识更新缓慢）最后，参数的扩展会导致训练和推理的计算费用增加RAG是一个将输入与一组相关的支持文档结合起来的技术，这些文档通常来自于像维基百科这样的来源。这些文档被添加到输入提示中，一起送入文本生成器，从而产生最终的输出。]]></description><category></category></item><item><title><![CDATA[大模型学习笔记 - LLM 对齐优化算法 DPO]]></title><link>https://blog.youkuaiyun.com/m0_37531129/article/details/141503950</link><guid>https://blog.youkuaiyun.com/m0_37531129/article/details/141503950</guid><author>m0_37531129</author><pubDate>Sat, 24 Aug 2024 19:48:03 +0800</pubDate><description><![CDATA[LLM - DPO

LLM - DPO

DPO 概述
DPO 目标函数推导
DPO 目标函数梯度的推导



DPO 概述
大模型预训练是从大量语料中进行无监督学习，语料库内容混杂，训练的目标是语言模型损失，任务是next token prediction，生成的token 不可控，为了让大模型能生成符合人类偏好的答案(无毒无害等）一般都会进行微调和人类对齐，通常采用的方法是 基于人类反馈的强化学习方法RLHF.  RLHF 是一个复杂且经常不稳定的过程，RLHF 分为2个步骤：

首先，训练一个SFT]]></description><category></category></item><item><title><![CDATA[大模型学习笔记 - LLM 之 LLaMA系列（待更新）]]></title><link>https://blog.youkuaiyun.com/m0_37531129/article/details/141439936</link><guid>https://blog.youkuaiyun.com/m0_37531129/article/details/141439936</guid><author>m0_37531129</author><pubDate>Thu, 22 Aug 2024 22:56:38 +0800</pubDate><description><![CDATA[LLaMA: Open and Efficient Foundation Language Models
Llama 2: Open Foundation and Fine-Tuned Chat Models (LLama2  & LLama2-Chat)
LLama 3 | LLama 3.1涉及到的基础知识点:涉及到的基础知识点:LLama2:
我们还将预训练语料库的大小增加了 40%，增加了模型的上下文长度，并采用分组查询注意力（Ainslie et al., 2023）。我们正在发布具有 7B、13]]></description><category></category></item><item><title><![CDATA[大模型学习笔记 - LLM 之 attention 优化]]></title><link>https://blog.youkuaiyun.com/m0_37531129/article/details/141439869</link><guid>https://blog.youkuaiyun.com/m0_37531129/article/details/141439869</guid><author>m0_37531129</author><pubDate>Thu, 22 Aug 2024 22:52:59 +0800</pubDate><description><![CDATA[注意力机制最早来源于Transformer，Transformer中的注意力机制分为2种 Encoder中的 全量注意力机制和 Decoder中的带mask的注意力机制。这两种注意力机制 都是 MultiHeadAttention 由Key，Query, Value 三个矩阵组成。由于经典的MHA的计算时间和缓存占用量都是O(n^2)级别的(n是序列长度)，这就意味着如果序列长度变成原来的 2 倍，显存占用量就是原来的 4 倍，计算时间也是原来的 4 倍。]]></description><category></category></item><item><title><![CDATA[大模型学习笔记 - LLM 参数高效微调技术]]></title><link>https://blog.youkuaiyun.com/m0_37531129/article/details/140937929</link><guid>https://blog.youkuaiyun.com/m0_37531129/article/details/140937929</guid><author>m0_37531129</author><pubDate>Mon, 05 Aug 2024 21:57:47 +0800</pubDate><description><![CDATA[参数高效微调是指冻结LLM的大部分模型参数，微调少量的或者额外新增的模型参数。]]></description><category></category></item><item><title><![CDATA[大模型学习笔记 - LLM 解码与部署]]></title><link>https://blog.youkuaiyun.com/m0_37531129/article/details/140911261</link><guid>https://blog.youkuaiyun.com/m0_37531129/article/details/140911261</guid><author>m0_37531129</author><pubDate>Sun, 04 Aug 2024 20:21:40 +0800</pubDate><description><![CDATA[当完成训练后，我们就可以将大语言模型部署到真实场景中进行使用。大语言模型是通过文本生成的方式进行工作的。在自回归架构中，模型针对输入内容（即提示文本，详见第10 章）逐个单词生成输出内容的文本。这个过程一般被称为解码。下面针对解码策略、加速方法、部署策略、压缩方法进行介绍。]]></description><category></category></item><item><title><![CDATA[大模型学习笔记 - 大纲]]></title><link>https://blog.youkuaiyun.com/m0_37531129/article/details/140910704</link><guid>https://blog.youkuaiyun.com/m0_37531129/article/details/140910704</guid><author>m0_37531129</author><pubDate>Sun, 04 Aug 2024 19:47:57 +0800</pubDate><description><![CDATA[TO BE ADDEDTO BE ADDEDTO BE ADDEDTO BE ADDEDTO BE ADDED]]></description><category></category></item><item><title><![CDATA[大模型学习笔记 - LLM 之RLHF人类对齐的简单总结]]></title><link>https://blog.youkuaiyun.com/m0_37531129/article/details/140908821</link><guid>https://blog.youkuaiyun.com/m0_37531129/article/details/140908821</guid><author>m0_37531129</author><pubDate>Sun, 04 Aug 2024 17:50:38 +0800</pubDate><description><![CDATA[LLM-人类对齐1. RLHF(Reinforcement Learning from Human Feedback, RLHF),基于人类反馈的强化学习2 奖励模型训练3 强化学习训练3.1 PPO介绍3.2 进阶的RLHF的介绍3.2.1. 过程监督奖励模型3.2.2. 基于AI反馈的强化学习3.2.3. 非强化学习的对齐方法4 关于SFT和RLHF的进一步讨论本篇完全参考大语言模型综述，学习完大模型学习笔记 - InstructGPT中的微调与对齐。]]></description><category></category></item><item><title><![CDATA[大模型学习笔记 - InstructGPT中的微调与对齐]]></title><link>https://blog.youkuaiyun.com/m0_37531129/article/details/140908355</link><guid>https://blog.youkuaiyun.com/m0_37531129/article/details/140908355</guid><author>m0_37531129</author><pubDate>Sun, 04 Aug 2024 17:05:49 +0800</pubDate><description><![CDATA[LLM 我们不一定要预训练模型，但是一定要会微调。InstructGPT更是微调的最经典的文章。这里详细介绍InstructGPT的微调技术。]]></description><category></category></item><item><title><![CDATA[大模型学习笔记 - LLM指令微调]]></title><link>https://blog.youkuaiyun.com/m0_37531129/article/details/140621443</link><guid>https://blog.youkuaiyun.com/m0_37531129/article/details/140621443</guid><author>m0_37531129</author><pubDate>Mon, 22 Jul 2024 22:44:59 +0800</pubDate><description><![CDATA[# 指令微调技术。]]></description><category></category></item><item><title><![CDATA[大模型学习笔记 - LLM 预训练]]></title><link>https://blog.youkuaiyun.com/m0_37531129/article/details/140589836</link><guid>https://blog.youkuaiyun.com/m0_37531129/article/details/140589836</guid><author>m0_37531129</author><pubDate>Sun, 21 Jul 2024 16:23:39 +0800</pubDate><description><![CDATA[LLM 模型预训练

LLM 模型预训练

1. 预训练任务
2. 优化参数设置

2.1 基于批次数据的训练
2.2 学习率
2.3 优化器
2.4 稳定优化技术


3. 可扩展的训练技术

3.1 3D并行训练
3.2 零冗余优化器
3.3 激活重计算
3.4 混合精度训练


4. 模型参数量计算与效率分析

4.1 参数量估计
4.2 训练运算量估计
4.3 训练时间估计
4.4 训练显存估计


5. 预训练代码实践



1. 预训练任务
常用的预训练任务主要分为三类：语言建模(Languag]]></description><category></category></item><item><title><![CDATA[大模型学习笔记 - LLM模型架构]]></title><link>https://blog.youkuaiyun.com/m0_37531129/article/details/140578878</link><guid>https://blog.youkuaiyun.com/m0_37531129/article/details/140578878</guid><author>m0_37531129</author><pubDate>Sat, 20 Jul 2024 22:40:05 +0800</pubDate><description><![CDATA[具体来说，滑动窗口注意力设置了一个大小为𝑤 的窗口，对每个词元𝑢𝑡，只对窗口内的词元[𝑢𝑡−𝑤+1, . . . , 𝑢𝑡 ] 进行注意力计算，从而将复杂度降低到𝑂(𝑤𝑇)。来自于《Mixtral of Experts》，Mixtral 8x7B 是一种稀疏的混合专家（稀疏 MoE）模型，目前是性能最佳的大型语言模型（LLM）之一，同时也是最受人关注的一种公开可用的 LLM。大语言模型与早期的预训练语言模型相比，主要是使用了更长的向量维度、更深的层数、更大的数据集、进而包含了更大规模的模型参数。]]></description><category></category></item><item><title><![CDATA[LLM 系列之 Transformer 组件总结]]></title><link>https://blog.youkuaiyun.com/m0_37531129/article/details/133757313</link><guid>https://blog.youkuaiyun.com/m0_37531129/article/details/133757313</guid><author>m0_37531129</author><pubDate>Tue, 10 Oct 2023 22:28:40 +0800</pubDate><description><![CDATA[LLM 学习记录]]></description><category></category></item><item><title><![CDATA[A Survey for In-context Learning]]></title><link>https://blog.youkuaiyun.com/m0_37531129/article/details/132273367</link><guid>https://blog.youkuaiyun.com/m0_37531129/article/details/132273367</guid><author>m0_37531129</author><pubDate>Mon, 14 Aug 2023 14:58:03 +0800</pubDate><description><![CDATA[（1）最近的研究探索了自然语言之外的语境学习，取得了有希望的结果。正确格式化的数据（例如，用于视觉语言任务的交错图像-文本数据集）和架构设计是激活上下文学习潜力的关键因素。在更复杂的结构空间（如图形数据）中探索它是具有挑战性和前景的（Huang et al.，2023a）。（2） 语境中的文本学习示范设计和选择的发现不能简单地转移到其他模式。需要进行特定领域的调查，以充分利用各种模式的情境学习的潜力。]]></description><category></category></item><item><title><![CDATA[小样本学习]]></title><link>https://blog.youkuaiyun.com/m0_37531129/article/details/132267065</link><guid>https://blog.youkuaiyun.com/m0_37531129/article/details/132267065</guid><author>m0_37531129</author><pubDate>Sun, 13 Aug 2023 23:09:24 +0800</pubDate><description><![CDATA[参考博客: https://blog.youkuaiyun.com/qq_36104364/article/details/106442357。]]></description><category></category></item><item><title><![CDATA[Rethinking the Role of Demonstrations: What Makes In-Context Learning Work?]]></title><link>https://blog.youkuaiyun.com/m0_37531129/article/details/132261115</link><guid>https://blog.youkuaiyun.com/m0_37531129/article/details/132261115</guid><author>m0_37531129</author><pubDate>Sun, 13 Aug 2023 18:14:50 +0800</pubDate><description><![CDATA[大语言模型能够通过上下文学习-只需要在推理阶段加入一些输入-标签的示例对，就能完成对新输入文本的预测。但是，对模型是如何学习，示例的哪些方面会影响最终的任务效果，我们知之甚少。在这篇纹章中，我们揭示了 正确的输入-标签示例对不是必须的，随机替换示例中的标签几乎不会影响效果，这个结论在12个不同的模型上是一致的，包括gpt3。相反，我们发现示例的其他方面是最终任务效果的核心驱动，包括：标签的空间，输入文本的分布，整体序列的格式。]]></description><category></category></item><item><title><![CDATA[推荐系统中 纯用户冷启动问题研究]]></title><link>https://blog.youkuaiyun.com/m0_37531129/article/details/126453202</link><guid>https://blog.youkuaiyun.com/m0_37531129/article/details/126453202</guid><author>m0_37531129</author><pubDate>Sun, 21 Aug 2022 17:45:08 +0800</pubDate><description><![CDATA[纯冷启动问题Pure cold star problem区别于一般冷启动cold star的一点是无法从第三方获取任何有关用户的信息，即它指的是推荐系统（RS）的功能，可为没有历史数据的用户提供有用的推荐。作者基于用户覆盖率最大化引入了两个新的RS来缓解此问题：Max-Coverage 和 Category-Exploration。这项工作旨在增强向初次用户发布的推荐，从而缓解纯冷启动问题。系统做出的假设：因受欢迎程度，新近度和正面评分而产生偏差的商品有可能满足大多数首次使用者的兴趣，但并非总是如此。]]></description><category></category></item><item><title><![CDATA[柏林噪声（Perlin Noise）]]></title><link>https://blog.youkuaiyun.com/m0_37531129/article/details/125953617</link><guid>https://blog.youkuaiyun.com/m0_37531129/article/details/125953617</guid><author>m0_37531129</author><pubDate>Sat, 23 Jul 2022 22:17:57 +0800</pubDate><description><![CDATA[柏林噪声（Perlin Noise）]]></description><category></category></item><item><title><![CDATA[机器学习评价指标ROC中 macro,micro 的区别]]></title><link>https://blog.youkuaiyun.com/m0_37531129/article/details/118055749</link><guid>https://blog.youkuaiyun.com/m0_37531129/article/details/118055749</guid><author>m0_37531129</author><pubDate>Sat, 19 Jun 2021 16:40:05 +0800</pubDate><description><![CDATA[macro：每种类别下，都可以得到m个测试样本为该类别的概率（矩阵P中的列）。所以，根据概率矩阵P和标签矩阵L中对应的每一列，可以计算出各个阈值下的假正例率（FPR）和真正例率（TPR），从而绘制出一条ROC曲线。这样总共可以绘制出n条ROC曲线。最后对n条ROC曲线取平均，即可得到最终的ROC曲线。
micro：首先，对于一个测试样本：1）标签只由0和1组成，1的位置表明了它的类别（可对应二分类问题中的‘’正’’），0就表示其他类别（‘’负‘’）；2）要是分类器对该测试样本分类正确，则该样本标签中1对应的]]></description><category></category></item><item><title><![CDATA[NRMS: Neural News Recommendation with Multi-Head Self-Attention]]></title><link>https://blog.youkuaiyun.com/m0_37531129/article/details/116586935</link><guid>https://blog.youkuaiyun.com/m0_37531129/article/details/116586935</guid><author>m0_37531129</author><pubDate>Mon, 10 May 2021 09:47:04 +0800</pubDate><description><![CDATA[NRMS
MSRA 2019年的多头注意力机制的神经网络推荐算法
这里做个简单的总结



]]></description><category></category></item></channel></rss>