发现问题，并解决问题，批判性思维

LLaMA 是 Meta AI 发布的包含 7B、13B、33B 和 65B 四种参数规模的基础语言模型集合，LLaMA-13B 仅以 1/10 规模的参数在多数的 benchmarks 上性能优于 GPT-3(175B)，LLaMA-65B 与业内最好的模型 Chinchilla-70B 和 PaLM-540B 比较也具有竞争力。通过使用与 ChatGLM（chatglm.cn）相同的技术，ChatGLM-6B 初具中文问答和对话功能，并支持在单张 2080Ti 上进行推理使用。

CCL学生研讨会

文章目录一、前言二、什么是“微调”Fine-tune？三、预训练模型和常见NLP训练任务四、“微调”预训练模型五、结语Reference本文转自AI部落公众号。仅用于学习。一、前言2021年，深度学习领域，无论是自然语言处理、音频信号处理、图像处理、推荐系统，似乎都看到attention混得风生水起，只不过更多时候看到的是它的另一个代号：Transformer。大部分深度学习的同学除了在各大paper里看到Transformer，平常与Transformer打交道最多的时候，大概率都是在用一个叫做：

文章目录一、资源推荐二、菜鸡笔记三、小结四、下一阶段五、特别鸣谢一、资源推荐（1）牛逼的huggingface：https://huggingface.co/transformers/preprocessing.html（2）读论文，如ACL会议论文：https://aclanthology.org/（3）进击的BERT：https://leemeng.tw/attack_on_bert_transfer_learning_in_nlp.html（4）学习基础后，应该上手项目练习：常见26种NLP

学习心得（1）文章目录学习心得第1部分：attention一、seq2seq模型二、进一步理解细节2.1 初探RNN2.2 word embedding2.3 RNN机制及其可视化三、Attention 讲解可视化注意力第2部分：transformer一、前言二、从整体宏观来理解 Transformer三、从细节来理解 Transformer3.1 Transformer 的输入3.3 Encoder(编码器)3.3 Self-Attention 整体理解四、Self-Attention 的细节4.1

训练一个神经网络通畅需要以下步骤：- 定义一个神经网络，通常有一些可以训练的参数- 迭代一个数据集（Dataset）- 处理网络的输入- 计算损失（会调用Module对象的`forward()`方法）- 计算损失函数对参数的梯度- 更新参数，通常使用如下的梯度下降方法来更新：`weight=weight-learning_rate × gradien`。

（1）结构搜索：- 推理大语言模型旨在通过模仿人类推理的深思熟虑和系统性来实现高精度和深度。然而，尽管最近取得了进展，当前的基础大语言模型在解决复杂推理任务时仍面临固有的局限性。这些局限性源于它们缺乏模拟环境状态的内部世界模型，无法预测推理路径的长期结果，以及无法根据未来状态或奖励迭代改进推理步骤。- 蒙特卡洛树搜索（MCTS）通过提供一个结构化框架来系统地探索和评估推理路径，有效地解决了这些挑战。它通过构建一个推理树来操作，其中每个节点代表一个推理状态，行动通过考虑潜在的下一步来扩展树。通过模拟未来状

#一、深度推理模型GLM-ZeroGLM-Zero的初代版本GLM-Zero-Preview，这是智谱首个==基于扩展强化学习技术训练==的推理模型智谱-深度推理模型GLM-Zero-预览版上线使用地址：https://chatglm.cn/share/FRAWwGLM-Zero-Preview专注于增强模型推理能力，擅长处理数理逻辑、代码和需要深度推理的复杂问题。同基座模型相比，GLM-Zero-Preview在不显著降低通用任务能力的情况下，在专家任务能力方面表现大幅提升。其

# note- 从零样本（Zero-shot）提示到最新进展的各种提示技术，包括推理和逻辑链（Chain-of-Thought, CoT）提示、自动链式思考（Auto-CoT）提示、自我一致性（Self-Consistency）提示、逻辑链式思考（LogiCoT）提示等。- 减少幻觉（Reduce Hallucination）的技术，如检索增强生成（Retrieval Augmented Generation, RAG）和链式验证（Chain-of-Verification, CoVe）提示，以及用户交

# 一、背景篇## 1. Special Token pretrain 阶段完全没见过的 token，在sft 阶段会被赋予全新的语义。主要用于标注对话的角色：user、assistant、system 这些。此外，special_token 可以用来“构造知识”，比如"喜欢"这种知识一定是 sft 阶段才会见到的，可以剔除掉 pretrain 先验知识的影响，用来验证 sft 的训练情况，比如会不会过拟合。我默认大家都知道怎么用 special_token 去拼 prompt，如果不熟悉，看下

单轮对话的数据集构造，就是一个input、一个output，比较好理解。第一种构建方法：User1、Assistant1、User2、Assistant2、User3的文本都视为模型的输入部分，将Assistant3的文本视为模型的预测部分。缺点在于：没有充分利用多轮对话的训练数据，中间Assitant回复部分的信息量更丰富详细，这些数据在训练时被浪费了。第二种构建方法：将一条多轮对话数据，拆分成多条数据。

note总结了VidGen数据集、Panda-70m数据集、Openvid数据集、OpenVid-1M数据集、Cogvideox训练数据准备过程在一篇综述中还总结了评估指标包括：峰值信噪比（PSNR）、结构相似性指数（SSIM）、Inception 分数（IS）、Fréchet Inception 距离（FID）、CLIP 分数、视频 Inception 分数（Video IS）、核视频距离（KVD）、帧一致性分数（FCS）各家提出的开源数据后，为了证明自己有效，会在上面这些不同指标评测文章目录

No Bias Except QKV：为了提升训练速度，我们去除了所有偏差项，除了注意力层中的查询（Query）、键（Key）和值（Value）偏差。这一变化略微改善了长度外推法的性能。RMSNorm 和 SwiGLU：我们用RMSNorm替换了LayerNorm，并用SwiGLU替换了ReLU。这两种策略能够提升模型性能。旋转位置嵌入（RoPE）：我们将RoPE扩展到二维形式，以适应GLM中的二维位置编码。分组查询注意力（GQA）：我们用GQA替换了传统的多头注意力（MHA），以减少推理过程中

1.千万级数据集: BAAI创建了首个千万级别的高质量开源指令微调数据集。2.模型性能与数据质量: 强调了模型性能与数据质量之间的高度相关性。3.技术亮点: - 使用了高质量的指令数据筛选与合成技术。 - 这些技术显著提升了模型遵循指令的能力。4.性能比较: - 提到综合性能达到了GPT-4的水平。 - 1000条高质量数据微调的效果可以超过52,000条普通数据。5.数据集评估: - 使用了AlpacaEval和MT-Bench等评估工具来筛选数据。

在数据准备完之后，就要去做预训练。需要针对中文场景做词表构建，对此，行业内大概有两种解决方案。一种是通过字粒度去扩充，因为汉字只看一个单词的话相对有限，大概数量是 5K 到 8K。另外一种就是很多中文大模型所采用的方法，即大量引入中文词汇，这样词表会比较大。考虑到对原有模型要尽量减少破坏，所以我们最终采用了字粒度扩容的方式，加入了 7K 的中文字符。这使得我们的整个词表大小达到 39K，词表压缩率为 48%。在预训练阶段词表优化完之后，训练采用的是两阶段的优化方式，使得收敛更加稳定。第一阶段主要还是解决

预训练语言模型除了自回归（Autoregressive）模型GPT，还有自编码模型（Autoencoding）BERT[1]、编-解码（Encoder-Decoder）模型BART[67]，以及融合上述三种方法的自回归填空（Autoregressive Blank Infilling）模型GLM（General Language Model）[68]。ChatGPT的出现，使得目前几乎所有大语言模型神经网络结构趋同，采用自回归模型，基础架构与GPT-2相同，但在归一化函数、激活函数及位置编码等细节方面有所

note（1）近似注意力：Routing Transformer采用K-means 聚类方法，针对Query和Key进行聚类，类中心向量集合为 其中k 是类中心的个数。每个Query 只与其处在相同簇 (Cluster) 下的Key 进行交互。Reformer 则采用局部敏感哈希 (Local-Sensitive Hashing，LSH) 的方法为每个Query 选择Key-Value 对。其主要思想是使用LSH 函数对

# note- 预训练：我们采用了混合精度训练以及梯度缩放策略，因为这可以减少训练周期，训练周期较少会节省模型训练所需的时间和资源。选择回放训练能够让模型定向学会一类知识信息。Loss 预测确保在训练过程前对损失进行估计，以保证训练过程中的损失符合我们的预期，最终收敛较好的结果。- SFT微调：采用了“target only loss”方法，并通过聚类分析对指令进行了适应性处理，以更好地确保模型的均衡性。- RLHF对齐：人类价值对齐阶段，我们采用了离线采样策略和双重奖励模型等策略，会在安全性上明显提

相关工作大多数减少幻觉的方法大致可分为三类：训练时校正、生成时校正和使用工具。在训练时校正方法中：尝试通过训练或以其他方式调整模型权重以降低幻觉生成的概率来改进编码器-解码器或仅解码器语言模型的原始从左到右生成。这包括使用强化学习（Roit et al., 2023；Wu et al., 2023）、对比学习（Chern et al., 2023b；Sun et al., 2023b）和其他方法（Li et al., 2023）。在生成时校正中：一个共同的主题是在基础 LLM 的“之上”做出推理决策

MHA机制（Multi-head Attention）MHA（Multi-head Attention）是标准的多头注意力机制，包含h个Query、Key 和 Value 矩阵。所有注意力头的 Key 和 Value 矩阵权重不共享MQA机制（Multi-Query Attention）MQA（Multi-Query Attention，Fast Transformer Decoding: One Write-Head is All You Need）是多查询注意力的一种变体，也是用于自回归解码的一

知识库和微调并不是冲突的，它们是两种相辅相成的行业解决方案。开发者可以同时使用两种方案来优化模型。例如：使用微调的技术微调ChatGLM3-6B大模型模拟客服的回答的语气和基础的客服思维。接着，外挂知识库将最新的问答数据外挂给ChatGLM3-6B，不断更新客服回答的内容信息。chatglm3的对话格式中， 部分使用 special token 表示，无法从文本形式被 tokenizer 编码以防止注入。metadata 部分采用纯文本表示，为可选内容。关于glm3的微调：与此

ote在未来，Agent 还会具备更多的可扩展的空间。就 Observation 而言，Agent 可以从通过文本输入来观察来理解世界到听觉和视觉的集成；就 Action 而言，Agent 在具身智能的应用场景下，对各种器械进行驱动和操作。Agent 是以核心智能模型来驱动的，一个可以具备能力从思考开始，最终做到完整输出的智能性结构。Agent 的发展很符合第一性原理，从最先的 Prompt，后面有人在写完的 Prompt 后面加通用的规划器。文章目录note零、相关概念介绍一、人类与AI协

# note- 痛点：训练垂直领域模型，sft数据和增量pretrain数据质量把控很重要 - 当数据不够时，通过self-instruct等方法造多样化的数据 - 当数据很多时，需要清洗/筛选出高质量数据@[toc]# 一、sft数据的筛选策略内容概要：- 构造sft数据- 评估sft数据质量和数量- 自动化筛选高质量sft数据## 1.1 使用self-instruct构造sft数据论文：《Self-Instruct: Aligning Language Model wit

一、幻觉定义备注（下面提及的两个名词）：Faithfulness：是否遵循input content；Factualness：是否符合世界知识；传统nlp任务重，幻觉大多数是faithfulness，比如Intrinsic Hallucination（冲突），摘要内容和document内容有冲突；再比如Extrinsic Hallucination（无中生有），生成内容中包含input要求的其他杂七杂八虚假信息；但LLM应该考虑的幻觉Factualness，因为数据源是Open-doman的世界知

语言模型最初是在信息理论的背景下研究的，可以用来估计英语的熵。熵用于度量概率分布：熵实际上是一个衡量将样本�∼�x∼p 编码（即压缩）成比特串所需要的预期比特数的度量。举例来说，“the mouse ate the cheese” 可能会被编码成 “0001110101”。熵的值越小，表明序列的结构性越强，编码的长度就越短。直观地理解N-gram模型在计算上极其高效，但在统计上效率低下。神经语言模型在统计上是高效的，但在计算上是低效的。大模型的参数发展：随着深度学习在2010年代的兴起和主要硬

EcomGPT：电商领域大模型解决问题：解决电商场景任务（如品牌识别，评价解析，广告文案生成等）论文链接：https://arxiv.org/abs/2308.06966GitHub链接：https://github.com/Alibaba-NLP/EcomGPT1. sft数据从学术论文或竞赛平台等开放数据源收集了共65个各种电商任务数据集，包括命名实体识别、评论问答、商品类目预测、多轮对话等传统的自然语言处理任务。这些开源数据集的任务都是由领域专家设计，然后由受过培训的人工标注，数据质量很高

在《Aligning Large Language Models with Human: A Survey》综述中对LLM数据分类为典型的人工标注数据、self-instruct数据集等优秀的开源sft数据集：alpaca_data、belle、千言数据集、firefly、moss-003-sft-data多轮对话数据集等文章目录note构造指令实例的3种方式sft：Aligning Large Language Models with Human: A SurveyAlpaca1. self

- 一些大模型的评估模型：- 多轮：MTBench- 关注评估：agent bench- 长文本评估：longbench，longeval- 工具调用评估：toolbench- 安全评估：cvalue，safetyprompt等本文还介绍了其他主流的大模型评估指标等及其使用

# 一、问题描述如题报错："topk_cpu" not implemented for 'Half'是在使用`transformers`库时本地导入某个模型，完整报错如下：```python File "/Users/guomiansheng/anaconda3/envs/ep1/lib/python3.8/site-packages/torch/utils/_contextlib.py", line 115, in decorate_context return func(*args,

# note- GLM将针对不同类型下游任务的预训练目标统一为了自回归填空，结合了混合的注意力机制和新的二维位置编码。- 本文浅析sft，并基于GLM在广告描述数据集上进行sft+p-tuning代码的数据流讲解 自回归空格填充任务： - 初始文本输入：x1, x2,x3,x4,x5,x6 - 随机掩码mask - PartA 部分：x1,x2,M,x4,M ，其中M表示mask的跨度 - PartB 部分： S,x5,x6,S,x3（刚才mask掉的那几坨，随机排

四部曲：指令生成；分类任务识别；实例生成；过滤和后处理。为了实证评估SELF-INSTRUCT，在GPT3（Brown等人，2020）上运行该框架，在这个模型上的SELF-INSTRUCT迭代过程产出了大约52K条指令，以及大约82K个实例输入和目标输出对。结果数据提供了多种多样的创造性任务，其中50%以上的任务与种子指令的重合度低于0.3 ROUGE-L（§4.2）。可以利用生成的指令数据微调其他大模型。二、具体过程1. 指令生成175个种子任务（每个对应1个指令+1个实例），从该任务池中随机抽取

展LLM的Context长度其实已有不少，但多数是通过结合检索或者摘要的方式来缩短样本的长Context，如Unlimiformer。由于不是直接处理长Context，因此通常无法做精细的阅读理解，而且这些方案往往需要在训练阶段就考虑进去，而不是事后即插即用到已有的LLM模型中。2. PCW方法以前能够不微调地扩展Context长度的方案是Parallel Context Window（下面简称PCW），出自论文《Parallel Context Windows for Large Language

一个相当常见但基本的操作是根据输入将其路由到一条链，具体取决于该输入到底是什么。如果你有多个子链，每个子链都专门用于特定类型的输入，那么可以组成一个路由链，它首先决定将它传递给哪个子链，然后将它传递给那个链。结果如下，可以看到根据评论文本，子链1将文本翻译为英语，子链2将英文文本进行总结，子链3得到初始文本的语言，子链4对英文文本进行回复，并且是用初始语言。每个后面的子链可以利用前面链的。

不同类型的chain链想在许多不同类型的块上执行相同类型的问答，该怎么办？上面的实验只返回了4个文档，如果有多个文档，我们可以使用几种不同的方法* Map Reduce 将所有块与问题一起传递给语言模型，获取回复，使用另一个语言模型调用将所有单独的回复总结成最终答案，它可以在任意数量的文档上运行。可以并行处理单个问题，同时也需要更多的调用。它将所有文档视为独立的* Refine 用于循环许多文档，实际上是迭代的，建立在先前文档的答案之上，非常适合前后因果信息并随时间逐步构建答案，依赖于先

首先深入到检索QA链中，然后它进入了一些文档链。如上所述，我们正在使用stuff方法，现在我们正在传递这个上下文，可以看到，这个上下文是由我们检索到的不同文档创建的。因此，在进行问答时，当返回错误结果时，通常不是语言模型本身出错了，实际上是检索步骤出错了，仔细查看问题的确切内容和上下文可以帮助调试出错的原因。然后，我们可以再向下一级，看看进入语言模型的确切内容，以及 OpenAI 自身，在这里，我们可以看到传递的完整提示，我们有一个系统消息，有所使用的提示的描述，这是问题回答链使用的提示，我们可以看到提示

1. 文本摘要 prompt = f"""你的任务是从电子商务网站上生成一个产品评论的简短摘要。请对三个反引号之间的评论文本进行概括，最多30个词汇。评论: ``` {""" response = get_completion(prompt) print(response) # 2. 关键信息提取 prompt = f"""你的任务是从电子商务网站上的产品评论中提取相关信息。请从以下三个反引号之间的评论文本中提取产品运输相关的信息，最多30个词汇。评论: ``` {

LLM中的温度系数- temperature参数控制生成语言模型中生成文本的随机性和创造性，调整模型的softmax输出层中预测词的概率；- 其值越大，则预测词的概率的方差减小，即很多词被选择的可能性增大，利于文本多样化- 举例：Prompt: “The quick brown fox” - Temperature = 0.1:“The quick brown fox jumped over the lazy dog. The quick brown fox jumped over the

RLHF分为三个步骤我做你看：有监督学习，从训练集中挑出一批prompt，人工对prompt写答案你做我看：奖励模型训练，这次不人工写答案了，而是让GPT3给出几个候选答案，人工对其质量排序，Reward model学习一个打分器；这个让机器学习人类偏好的过程就是【对齐】，但可能会导致胡说八道，可以通过KL Divergence等方法解决。instructGPT中奖励模型的损失函数如下，其中 rθ(x,y) 是奖励模型对提示x和完成y的标量输出，具有参数θ，

- 给出好的prompt可以让LLM生成更好的答案，反过来想通过LLM帮我们找到好的prompt就是prompt tuning的思路，训练让模型看到新的例子生成prompt，并把该段prompt作为前缀拼接到我们自己的prompt上，送入LLM得到结果 - prompt tuning训练的前缀是向量，所以解释性略差- 和few show比较：LLM的上下文context长度是有限的（prompt中给出有限的例子，业务复杂时难让模型学习足够多知识），prompt tuning就没有这个限制，只需在训练

在 DeepSpeed 中，可以通过在配置文件中设置 “bf16.enabled”: true 来启用 BF16 混合精度训练，减少占用内存。混合精度训练是指在训练过程中同时使用FP16（半精度浮点数）和FP32（单精度浮点数）两种精度的技术。deepspeed可以根据具体情况选择合适的通信库，例如在 CPU 集群上进行分布式训练，可以选择 mpi 和 gloo；如果是在 GPU 上进行分布式训练，可以选择 nccl。mpi 是一种跨节点通信库，常用于 CPU 集群上的分布式训练；gloo 是一种高