柏企阅文

LLM架构从基础到精通之循环神经网络（RNN）“以下是已更新文章：1. LLM大模型架构专栏|| 从NLP基础谈起2.LLM大模型架构专栏|| 自然语言处理（NLP）之建模3. LLM大模型架构之词嵌入（Part1）4. LLM大模型架构之词嵌入（Part2）5. LLM大模型架构之词嵌入(Part3)欢迎关注公众号【柏企科技圈】【柏企阅文】在人工智能的领域中，神经网络是推动技术发展的核心力量。今天，让我们深入探讨循环神经网络（RNN）及其重要变体——长短期记忆网络（LSTM）和门控循环

策略模型根据给定输入q生成输出O；一个单独的价值模型预测基线v，与广义优势估计（GAE）一起用于计算优势A；奖励r包含使用参考模型和奖励模型计算出的KL惩罚项；这种架构会导致显著的资源开销。

检索增强思考（RAT）通过引入模仿人类思维过程的推理循环，弥补了这些差距。这使得它在以下应用场景中具有极高价值：复杂问题解答特定领域的AI助手研究密集型工作流程。

📖阅读时长：20分钟🕙发布时间：2025-02-02欢迎关注知乎和公众号的专栏内容公众号【】【】 嵌入模型将文本表示为具有语义意义的向量。尽管它们可以很容易地用于无数的用例（例如检索、分类），但通用嵌入模型在特定领域的任务上可能表现不佳。克服此限制的一种方法是微调。在本文中，我将讨论这项技术背后的关键思想，并分享一个微调嵌入以将查询与AI招聘信息匹配的具体示例。文本嵌入模型的一个常见用途是检索增强生成（RAG）。

上下文窗口的大小会影响嵌入的质量。它本质上是一种将单词转换为连续向量空间中的数值表示（即向量）的方法，旨在捕捉单词的语义信息，使得语义相似的单词具有相似的向量表示。例如，著名的类比：(v_{queen} \approx v_{king} - v_{man} + v_{woman})，这个操作展示了如何通过调整“king”的向量与“man”和“woman”的差异来得到“queen”的向量。在这些模型中，单词的嵌入根据其出现的上下文而变化，使得模型能够捕捉像“bank”（如河岸与银行）这样的单词的不同含义。

查找第一个单词 “the” 在 10,000 长的词汇表中的索引，假设其索引为 8676，那么 “the” 就可以用一个长度为 10,000 的向量表示，其中除了第 8676 个位置为 1 外，其他位置均为 0。在自然语言处理中，共现矩阵的一个主要应用是生成词嵌入。例如，“cat” 和 “tiger” 被表示为完全不同的向量，没有体现出它们的相似性，这对于基于类比的向量操作等任务来说是个很大的问题。词汇表中的每个单词都被表示为一个独特的向量，除了对应单词索引位置的元素为 1 外，其他所有元素都设置为 0。

因为在训练过程中，如果模型已经学习了“cat”的处理方式，那么当遇到“liger”时，如果它的嵌入与“cat”相似，模型就可以借鉴处理“cat”的路径，而不是从头开始学习。这就好比在一个庞大的图书馆中，我们不再为每个单词单独建立一个巨大的书架（独热编码），而是将相关的单词整理到几个紧凑的书架上（词嵌入），既节省了空间，又能快速找到所需的信息。例如，对于窗口大小为 3 的情况，我们只考虑句子中的三个单词，中间的单词是要预测的目标单词，周围的两个单词作为上下文输入到神经网络中。然后滑动窗口，重复这个过程。

在计算过程中，当我们将一个 1×10,000 的 one - hot 向量与一个 10,000×300 的矩阵相乘时，实际上就会选择出对应于‘1’位置的矩阵行，这一行就是输入单词的“词向量”。尽管它的网络只有两层，比较浅，但非常宽，因此它的每个训练过程都提供了独特的降低计算量的方法。从输入输出来看，网络的输入是表示输入单词的 one - hot 向量，标签也是表示目标单词的 one - hot 向量，但网络的输出是目标单词的概率分布，并非像标签那样一定是 one - hot 向量。

Docling 能够快速、轻松地将流行的文档格式（如 PDF、DOCX、PPTX、XLSX、图像、HTML、AsciiDoc 和 Markdown）转换为 HTML、Markdown 和 JSON（包含嵌入和引用的图像）格式。：是专门用于管理和查询向量嵌入的开源向量数据库。通过对大量数据的学习和训练，它能够对不同的回答进行多维度的评估，判断其相关性、准确性、完整性等。方法，传入上下文、问题和回答，按照预定义的标准（如相关性、准确性、完整性、连贯性和引用等）进行评估，并输出详细的推理、关键亮点和分数。

由 vLLM 服务引擎驱动，使用名为 LLaVA（llava - hf/llava - 1.5 - 7b - hf）的视觉语言模型来处理文本/表格摘要以及多模态任务，如图像摘要和从集成的文本和视觉输入生成答案。通过结合这些工具，我们将展示如何构建一个强大的多模态 RAG 系统，该系统能够处理不同类型的文档，生成高质量的摘要，并生成利用文本和视觉信息的全面答案。为了配置多向量检索器，我们将原始文档（包括文本、表格和图像）存储在文档存储中，同时在向量存储中索引它们的摘要，以提高语义检索效率。

最终，你将拥有一个针对特定领域优化的更强大的嵌入模型，从而在 NLP 任务中实现更准确的检索和更出色的结果。想象一系列嵌套的娃娃，每个娃娃里面都包含一个更小的娃娃。MRL 以这样的方式嵌入文本：较早的维度（就像外层的娃娃）包含最重要的信息，后续的维度则增加细节。通过针对特定领域微调嵌入模型，你的 NLP 应用程序能够更深入地理解该领域内的特定语言和概念，这可以在问答、文档检索和文本生成等任务中带来显著的改进。最后，我们加载微调后的模型，并使用相同的评估器对其进行评估，以衡量微调后性能的提升。

人工智能和机器学习的兴起，催生了大量高维数据表示形式，即嵌入（embeddings），它们捕捉数据点之间的复杂关系，助力强大的分析与理解。RAG 将传统信息检索与语言模型相结合，通过利用相似性搜索查找相关文档，使模型能访问更广泛的知识库，生成更具信息量和上下文丰富的输出，从而提高生成文本的准确性和相关性。：HNSW 是一种基于图的索引方法，向量被组织在小世界图的层次结构中。的搜索时间略长，这是由于在搜索过程中需要从量化表示中解压缩和重构向量，但差异很小，其内存效率的提升通常值得这额外的搜索时间。

稀疏检索器则使用传统的信息检索方法，如 TF-IDF 或 BM25，对于基于关键词的查询和文档中直接包含查询词的情况比较有效，虽然准确性可能不如密集检索器，但搜索和训练速度更快，资源消耗更少。每个元素的分数通过公式 1/(k + rank) 计算，其中“rank”是元素在特定搜索结果集中的位置，“k”是一个常数（通常设置在 60 左右），然后将不同结果集中元素的分数相加得到最终分数，再根据最终分数对元素进行排序形成合并后的结果列表。：它类似于在公司维基、文档或谷歌上进行搜索，负责查找与用户查询相关的信息。

随着提议者模型数量的增加，基于 MoA 的系统的整体准确性和性能都有了显著的提升，这充分凸显了在大型语言模型发展中采用协作式人工智能的优势。此外，研究人员在模型选择上也下足了功夫。在 MT - Bench 基准测试中，尽管当前的模型已经取得了相当高的分数，但 MoA 依然在排行榜上独占鳌头，这充分证明了即使在已经高度优化的基准测试中，MoA 方法仍能突破极限，保持领先地位。每个专家都在特定的领域进行了专门的训练或预训练，其独特之处在于，任何类型的模型都可以作为专家被纳入其中，从而实现了多样化的专业分工。

一般而言，基于编码器的模型在提取嵌入方面表现出色，因为它们能够通过双向注意力捕捉语义，而仅解码器模型常使用因果注意力，只能与前一个单词令牌交互，无法像编码器 - 解码器模型那样捕获丰富的语义（如上下文信息）。需要注意的是，变压器的其他组件，如自注意力层，在不同专家间共享相同权重，这使得 MoE 的权重数量并非简单的累加。同时，通过主题聚类可视化，我们可以清晰地看到不同主题之间的关联，如红色圆圈标记的主题 0 与计算机相关，其附近的主题也与机械相关词汇（如图形、数字、打印机等）有关。

它能够预先制定全面的计划，在任务执行过程中遇到意外情况时迅速适应和调整，并且在整个任务执行过程中保持上下文信息，减少了计算开销，极大地提高了任务处理的效率和质量。相较于 ReAct 架构的 Agent，如果在子任务中使用大型语言模型（LLM）调用，Plan-and-Execute 架构通常可以采用更小的、特定领域的模型。这就好比你有一个助手，在完成一项工作后，就把之前积累的经验和知识全部清零，这对于需要长期知识积累和经验复用的复杂任务来说，是一个致命的缺陷。首先，在执行速度上实现了质的飞跃。

在推理性能上，通过合理的参数设置和自训练优化，取得了可观的成果。同时，随着研究的深入，未来还可以进一步探索如何进一步提高过程奖励模型的准确性、优化 MCTS* 搜索算法的效率以及拓展 ReST-MCTS*在更多领域和任务中的应用等问题，不断完善和拓展这一创新方法的潜力。清华提出的 ReST-MCTS* 方法为解决这一困境带来了创新性的思路，通过蒙特卡罗树搜索（MCTS* ）自动生成高质量的推理轨迹，并利用这些轨迹来训练策略模型和过程奖励模型，从而避免了传统方法中对人工标注的依赖。

你需要进行规划，并且在过程中计划可能会改变（例如，如果你打开冰箱发现没有牛奶，你会在计划中添加“买牛奶”作为新步骤）。在实践中，下一个执行器会自动观察上一步的结果，简化了流程。然而，由于行动尚未完全定义，我们使用 Stop.Observation 阻止模型生成观察，确保它在生成思考和行动后停止。然后将观察与之前生成的思考和行动一起重新输入模型，重复步骤 2 和 3，直到行动为“完成”。虽然以如今的标准来看可能显得比较基础，但在当时，ChatGPT 尚未发布，教 LLM 使用工具的想法可谓具有开创性。

1. 域适应的必要性由于摄像机设置和拍摄场景的多样性，不同的视频可能呈现出不同的模糊模式，这些模式在训练阶段可能未被模型见过，从而导致模型在实际应用中效果下降。域适应方法通过调整模型以适应新的域特性，有助于提升模型在未见领域的性能。2. 方法的核心组件：相对锐度检测模块和域适应模糊条件生成模块相对锐度检测模块（RSDM）用于从模糊视频中检测出相对清晰的区域，这些区域被视为伪锐利图像。域适应模糊条件生成模块（DBCGM）则根据这些伪锐利图像和视频中的运动线索，生成与目标域特定模糊条件相匹配的模糊图像。

1. 模型架构与组件Hypothetical Minds模型是一个基于大型语言模型（LLM）的自主智能体，它通过整合感知、记忆和两级抽象层次的层次化规划的模块化组件，来应对MARL中的挑战。该模型的架构包括多个认知模块，如感知模块、记忆系统以及理论心智（Theory of Mind, ToM）和子目标（Subgoal）模块，后两者分别负责输出高层次的目标和行动计划。2. 理论心智（Theory of Mind, ToM）模块的作用。

Mixture-of-Modules (MoM) 是一种新颖的架构，旨在打破传统的 Transformer 模型中深度有序的层次结构。MoM的核心思想是将神经网络定义为由传统 Transformer 派生的模块的动态组装。这些模块包括多头注意力（MHA）、前馈网络（FFN）和特殊的“SKIP”模块，每个模块都具有独特的参数化。在 MoM 中，每个令牌的计算图是通过两个路由器动态选择注意力模块和前馈模块并在前向传递中组装这些模块来形成的。

mllm-NPU是一个创新的大型语言模型(LLM)推理系统，专为移动设备上的神经处理单元(NPU)优化。该系统的主要设计目标是减少预填充(prefill)阶段的延迟和能耗，同时保持推理精度。mllm-NPU通过在算法和系统设计上的协同优化，有效地解决了LLM架构与现代NPU设计之间的语义差异。mllm-NPU的工作流程包括准备阶段和执行阶段。在准备阶段，mllm-NPU使用增强的张量级量化算法将LLM量化为W8A8格式，并生成固定长度的分块共享图，以高效处理变长提示。

RankRAG是一种新型的指令微调框架，旨在通过单一的大型语言模型（LLM）同时处理上下文排名和答案生成，以增强其在检索增强生成（RAG）任务中的性能。这种方法特别适用于处理知识密集型的自然语言处理任务。1. 指令微调的双重目的上下文排名和答案生成。这种设计基于这样的假设：上下文的相关性判断和利用相关上下文生成答案的能力是相辅相成的。通过在训练阶段同时对这两种能力进行指令微调，RankRAG能够在实际应用中更有效地筛选和利用相关上下文。2. 训练阶段的设计。

在本文中，我们探讨了大型语言模型（LLM）生成的自然语言（LLMNL）与人类自然语言（HNL）之间的关系，并引入了缩放法则来深入分析这两者之间的相似性和差异。通过广泛的实验，我们发现LLMNL与HNL之间存在微小的偏差，特别是在Mandelbrot的法则中观察到约0.2的指数差异。这一发现不仅加深了我们对语言风格的理解，还为LLM的进一步应用和发展奠定了坚实的基础。此外，我们提出了一种新的文本分类数据增强方法——ZGPTDA，该方法利用缩放法则的一致性通过模糊计算机制对GPT-4增强数据进行决策。

1. RLAIF的概念与发展Reinforcement Learning from AI Feedback (RLAIF) 是一种新兴的强化学习方法，它利用大型语言模型（LLM）生成的反馈来训练小型模型。这种方法首次由Bai等人在2022年提出，并迅速在多个领域展示了其潜力，例如在减少LLM输出中的伤害、增强文本摘要和数学推理方面。RLAIF通过专门的提示策略从更大的LLM（例如GPT-3.5）中提取AI反馈，并使用这些数据训练奖励模型，以改善小型LLM的表现。2. 为何选择RLAIF替代传统RLHF。

专家构建是将原始Feed-Forward Networks (FFNs)的参数划分为多个专家。传统的FFN层包含大量参数，

本文介绍了一种名为“Embarrassingly Easy Text-to-Speech（E2 TTS）”的文本转语音系统。该系统通过将输入文本转换为填充标记字符序列，并基于音频填充值任务训练流匹配基mel频谱生成器，实现了人类水平的自然度和最先进的说话人相似性和可理解性。与许多先前的工作不同，它不需要额外组件或复杂技术的支持。尽管简单，但E2 TTS在零样本TTS能力方面取得了与先前工作相当甚至超越的效果，包括Voicebox和NaturalSpeech 3。

在现代生成模型的研究中，概念空间框架提供了一个新颖的视角来分析和理解模型如何学习和操纵数据生成过程中的概念。概念空间是一个抽象的坐标系统，其轴对应于数据生成过程中的独立概念。这些概念可以是形状、大小、颜色等，每一个轴代表一个概念的变化维度。通过在概念空间中分析模型的学习动态，可以观察到模型如何逐步学习各个概念，并且如何在学习过程中突然转变其学习方向。这些转变点通常对应于模型突然获得新能力的时刻，即模型已经具备了操纵某一概念的能力，但这些能力在常规输入提示下尚未显现。

在持续学习（CL）的领域中，语言模型（LM）面临着灾难性遗忘的挑战，这限制了它们在持续学习任务中的长期可持续性。为了解决这一问题，研究人员提出了多种方法，包括基于复习的方法、基于架构的方法和基于参数的方法。然而，这些方法往往依赖于旧任务数据或任务标签，这在实际应用中可能难以获取或成本较高。针对这一挑战，本文介绍了一种名为“MIGU”（基于幅度的梯度更新）的新方法。MIGU方法不需要复习旧任务数据，也不需要任务标签，它通过只更新输出幅度较大的模型参数来实现持续学习。

OlympicArena是由Huang等人在2024年提出的一个全新的、具有挑战性的人工智能评测基准。这一基准测试旨在通过模拟奥林匹克级别的多学科、多模态竞赛环境，推动人工智能在认知推理能力上的极限。OlympicArena包含了11,163个双语问题，这些问题涵盖了文本只读和文本-图像交错的模态，覆盖了七个常见学科和62个国际奥林匹克竞赛项目。1. 数据集的设计与挑战OlympicArena的设计严格检查了数据泄露问题，确保了测试的公正性和有效性。

1. 数据选择的重要性数据选择是指从大规模候选数据集中筛选出最有利于模型学习的数据子集。这一过程对于构建高效的语言模型至关重要。通过有效的数据选择，可以确保模型训练集中于最具代表性和挑战性的样本，从而在实际应用中展现出更强的性能和更好的泛化能力。2. 数据选择的方法发展早期的数据选择方法多依赖于简单的随机抽样或者基于规则的筛选。然而，这些方法往往忽视了数据的内在质量和与模型性能的相关性。随着技术的进步，更多研究开始利用机器学习技术，通过模型预测的方式来评估数据质量，实现更为精准的数据选择。

Nemotron-4 340B系列模型包括三个主要版本：Nemotron-4-340B-Base、Nemotron-4-340B-Instruct和Nemotron-4-340B-Reward。这些模型是在NVIDIA开放模型许可协议下发布的，该协议允许模型及其输出的分发、修改和使用。Nemotron-4 340B系列模型在多个评估基准测试中与其他开放访问模型具有竞争力，并且设计为在单个DGX H100设备上使用8个GPU以FP8精度部署时能够适应。这些模型特别适用于生成用于训练较小语言模型的合成数据。

CodeGemma是基于Google DeepMind的Gemma模型系列（Gemma Team et al., 2024）开发的一系列开放代码模型。这些模型继承了Gemma预训练模型的基础，并在此基础上进一步训练，使用的数据主要是代码，训练数据量在5000亿到1000亿token之间。CodeGemma模型在代码完成和生成任务中达到了最先进的性能，同时在大规模情况下仍保持强大的理解和推理能力。

1. TNN与时间序列生成的现状Transformer Neural Networks（TNN）已经在多个领域显示出其强大的生成能力，尤其是在自然语言处理（NLP）中。然而，在时间序列生成的应用中，TNN的潜力尚未被充分挖掘。时间序列数据的重要性不言而喻，它涉及到从医疗健康监测到金融市场分析等多个关键领域。尽管如此，相较于其他领域，如图像和文本，时间序列生成领域中关于TNN的研究相对较少。2. TNN在时间序列生成中的应用。

在模型训练方面，EasyAnimate采用了三阶段训练策略，首先是图像数据的训练，然后是动态模块的大规模数据集训练，最后是高分辨率视频和图像的整体网络训练。运动模块的训练是在大规模数据集上进行的，这一步骤至关重要，因为它帮助模型捕捉视频中的时间动态信息，从而生成连贯的帧和平滑的运动过渡。通过比较多个大型多模态模型的性能和操作效率，选择了性能优异的VideoChat2和VILA进行视频数据的字幕处理，这些模型在视频字幕的详细性和时间信息方面表现出色，有助于提高生成视频的质量。引言：视频生成技术的演进与挑战。

MESA（Cooperative Meta-Exploration in Multi-Agent Learning through Exploiting State-Action Space Structure）是一种针对多智能体学习的元探索方法，旨在通过利用状态-动作空间结构来提高探索效率。在多智能体强化学习（MARL）中，探索效率尤为关键，因为环境的复杂性和智能体间的交互增加了学习的难度。

PEBOL（Preference Elicitation with Bayesian Optimization augmented LLMs）是一种新颖的自然语言偏好询问（NL-PE）算法，它通过结合贝叶斯优化和大型语言模型（LLM）来推断用户的物品偏好。这种方法首先利用自然语言推理（NLI）在对话话语和物品描述之间进行推断，以维护贝叶斯偏好信念；

Low Rank Adaptation（LoRA）是一种用于大型语言模型（LLMs）的参数高效微调（PEFT）方法，近年来得到了广泛的采用。LoRA通过在模型的冻结权重层旁增加少量的可训练低秩矩阵，显著减少了可训练参数的数量，同时几乎不增加推理时的计算负担。这种方法不仅节省了内存使用，还能在保持与全参数微调相当的性能的同时，实现更高的计算效率。LoRA的核心思想是在不完全解冻原始模型的情况下，通过微调少量的参数来适应下游任务。

U-ViT作为一种基于ViT的架构，通过将所有输入包括时间、条件和噪声图像块视为令牌，并在浅层和深层之间采用长跳跃连接，为图像生成任务提供了一种新的解决方案。在多项基准测试中，U-ViT不仅在无条件和类条件图像生成任务中展现了与CNN-based U-Net相当甚至更优的性能，还在文本到图像的生成任务中取得了突破性的成绩，特别是在不访问大型外部数据集的情况下，其FID得分在业界内达到了新高。U-ViT的成功展示了ViT架构在处理复杂图像生成任务中的潜力，并可能推动未来更多基于ViT的生成模型的研究和开发。

逆向图形学（Inverse Graphics）是计算机视觉和图形学中的一个基本挑战，其任务是将图像转化为物理变量，这些变量在渲染时能够再现观察到的场景。这一过程涉及到将图像解构为其构成元素，如场景中物体的形状、颜色和材料属性等。这需要对环境有一个全面的理解，而这一需求限制了现有方法在跨领域泛化的能力。逆向图形学的概念可以追溯到至少1974年的Baumgart，并且在后续的研究中逐渐发展。