日积月累，天道酬勤

⭐ 这是一篇很厉害的工作，作者受计算机中编译器的启发，设计了LLMCompiler这一框架。首先利用函数调用规划器指定函数调用的执行计划；然后通过任务获取单元来调度函数调用任务，找出其中的依赖和独立任务；最后通过执行器(并行)执行这些任务。

⭐ 为了以更可解释和模块化的方式捕捉知识，作者提出了REALM预训练框架，通过学习文本知识检索器来增强语言模型预训练算法。

⭐ 作者提出了HippoRAG，首先使用大语言模型将语料库转换为无模式知识图(KG)来模拟新皮层处理感知输入的能力，作为人工海马体索引。给定一个新的查询，HippoRAG识别查询中的关键概念，并在KG上运行个性化PageRank(PPR)算法，使用查询概念作为种子，以整合跨段落的检索信息。

⭐ 现有的RAG方法在知识密集型推理任务中存在困难，因为这些任务所需的有效信息严重分散。本篇工作受认知理论的启发，该理论认为人类在处理知识密集型推理时会将原始信息转换为各种结构化知识，提出了StructRAG框架，它可以识别当前任务的最佳结构类型，将原始文档重建为这种结构化格式，并根据生成的结构推断答案。

⭐ 作者介绍了一种新的多模态检索框架ColPali，可以生成文本和图像的ColBERT类多向量表示，也引入后期交互计算每个查询标记和文档标记之间的交互，最终得到一个分数可用于检索排名。

⭐ 本篇工作提出了如何良好地训练base模型提供指令遵循和函数调用能力，其提出的函数调用格式启发了vLLM和Ollama等支持工具调用。

⭐ 作者提出了一种检索增强微调的方法，为语言模型和检索器进行微调。引导LLM最佳地利用检索到的信息并忽略干扰内容。

⭐ 作者提出对检索器和生成器进行联合训练来完成QA任务和领域自适应，通过微调RAG模型及其检索器，同时在训练期间异步更新知识编码。

⭐ 在RAG长文本的生成过程中，作者提出主动检索增强生成的方法，首先开始回复问题，如果LLM对于生成的句子不太确信，则使用它作为查询检索相关文档，然后根据检索到的文档重新生成下一句话，直到生成结束。

⭐ ColBERT引入了一种晚期交互(late interaction)架构，该架构使用BERT独立编码查询和文档，然后采用一种廉价但强大的交互步骤来建模它们的细粒度相似性。通过推迟这种细粒度的交互，ColBERT能够利用深度语言模型的表达能力，同时获得离线预计算文档表示的能力，从而显著加快查询处理速度。

⭐ 作者提出了可以直接将长文本的全局文本信息拼接到切分后的文本块前面。全局文本信息有(1) 文档的标题 (2) 文档的关键短语，使用TopicRank算法抽取 (3) 共指解析，通过跨段共指解析消解来处理文本块中的代词。

⭐ 作者提出了利用仅编码器的类GPT架构来产生句子嵌入以支持语义检索和其他嵌入任务。在Bi-Encoder设置中，使用位置加权平均池化来得到具有语义信息的句子嵌入。在Cross-Encoder设置中，提取预训练GPT模型的对数概率产生无监督结果。

⭐ 作者提出了MemoRAG，一种通过长期记忆增强的检索增强生成新范式。它使用轻量且长上下文的LLM构建全局记忆，用于生成上下午相关的线索。用另一个表达力强的LLM，根据检索到的信息生成最终答案。

⭐ 作者介绍了 ChatQA，一种两阶段指令微调方法，提高了 RAG 的表现。还引入了一种针对多轮对话 QA 优化的密集检索器。

⭐ 作者提出了一种新的两阶段指令微调框架RankRAG，该框架对LLM进行指令微调，以实现RAG中上下文排名和答案生成的双重目的。阶段一利用SFT对高质量指令跟随数据集进行微调，阶段二对LLM进行检索增强生成和上下文排名的指令微调。

⭐ 作者提出了QLoRA，一种高效的微调方法，它在减少内存使用的同时保持16位微调任务的完整性能。这是通过：4位NormalFloat、双重量化(对量化常数进行量化)、分页优化器(GPU内存不足的情况下，自动进行CPU和GPU之间的页面传输)来管理内存峰值实现的。微调时冻结**4位量化预训练语言模型**而向低秩适配器(LoRA)反向传播梯度。

⭐ 作者开发了一个两部分量化程序LLM.int8()。首先使用向量级量化，对矩阵乘法中的每个内积使用单独的归一化常数，从而对大多数特征进行量化。然而，对于突现的异常值(outlier)，还包括了一种新的混合精度分解方案，将异常特征维度隔离到16位矩阵乘法中，同时仍然有99.9%以上的值在8位中进行乘法运算。

⭐ 本工作提出了LLaRA，该方法作为对 LLM 进行后处理适应以用于密集检索应用。LLaRA 包含两个前置任务： LLM 的文本嵌入分别用于重构输入句子的词元和预测下一个句子的词元。通过这种方式旨在捕捉输入文本本身和下一句的全局语义，从而使LLM变成一个有效的密集检索器。

⭐ 本篇工作提出了一种检索增强微调方法RAFT，可以提高模型在开卷领域内问答的能力。在训练RAFT时，给定一个问题和一组检索到的文档，训练模型忽略那些在回答问题时无用的干扰文档。RAFT通过逐字引用相关文档中的正确序列来帮助回答问题，同时结合RAFT的思维链式响应，帮助提高模型的推理能力。

⭐ 作者提出了一种新颖的自我推理框架，其核心思想是利用LLM自身生成的推理轨迹。该框架包括三个过程来构建自我推理轨迹：关注相关性的过程、证据选择性过程、一个轨迹分析过程。基于GPT4生成了2000个高质量的训练样本，提出了一种阶段性训练过程基于这些样本训练自我推理生成模型，声称效果很好，但是训练样本和训练好的模型都没有公开出来。

⭐ 作者提出了倒数排名融合(RRF)的简单方法，但是效果超过了逼他复杂得多的方法，仅是考虑每个系统中排名的倒数(计算倒数时先增加一个固定的偏移量k，防止异常值影响)。可以尝试用在粗牌之后精排之前，或者看是否能替代精排。

⭐ 主要介绍了DeepSpeed框架用到的零冗余优化器(ZeRO)技术，使得训练万亿级别参数的大模型成为了可能。通过ZeRO-DP优化模型状态，通过ZeRO-R优化剩余状态。

⭐ 作者提出了PagedAttention，受到传统虚拟内存和操作系统中分页技术启发的注意力算法。并在此基础上构建了vLLMLLM服务系统。定义KV块的概念，对应操作系统中的分页，一个KV块默认包含16个K/V向量，通过动态分配的机制最多只浪费了15个向量对应的内存，实现逻辑块和物理块的分离，物理上虽然不连续但逻辑上是连续的，通过块表维护逻辑块和物理块之间的映射。同时通过引用计数和写时复制的技术来支持物理块共享，进一步提高了空间的利用率，从而提高了批处理大小，增大了吞吐量。

首先介绍了一种新的计算 BM25 分数的方法，速度远超RANK-BM25(BM25Okapi)。最后通过代码实战中文上的表现。

⭐ 作者提出了回退提示技术，使大模型能够进行抽象，从包含具体细节的实例中推导出高层次的概念和基本原则。通过利用这些概念和原则来指导推理，LLMs显著提高了按照正确推理路径解决问题的能力。

⭐ 作者提出了一种超越思维链的提示策略——从最少到最多，关键思想是将复杂问题分解为一系列较简单的子问题，然后按依次解决它们。后面子问题的解决可以依赖前面解决的子问题的答案。

⭐ 作者提出了基于双层结构的提示设计框架，还提供了基于LangGPT的常见场景的通用提示模板。重要的是上线了一个在线社区，其中包含很多提示案例可以来学习参考。

⭐ 作者来自英伟达的团队，介绍了他们在构建企业级RAG聊天机器人的经验。提出了FACTS这5个要注意的方面以及15个可提升性能的控制点。是一篇偏实战的工作，值得仔细研读。

⭐ 作者提出了一个新颖的框架，以内容为中心。该框架包括不同的阶段：匹配、预排名、排名、多路径推理和聚合。其中包含了很多工程细节，值得参考。但没有看到总体耗时相关的描述以及整体代码，可能耗时会相对较长。

⭐ 作者引入了一种新颖的方法，递归嵌入、聚类和总结文本片段，从底部开始构建具有不同摘要级别的树。在推理期间，首先将这棵树拉平，然后从拉平的树节点中检索，将跨不同抽象级别的庞大文档中的信息整合起来。

⭐ 作者提出了一种混合多个智能体的方法，通过多层的设计，最终层给出输出。取得了较好的效果，但成本和响应时间也增加很多。在仅需要高质量回复的场景下可以使用。

⭐ 作者测试了基于LLM做领域识别、状态追踪和响应生成。但是状态追踪的效果不好，如果想用LLM做TOD需要额外加入状态追踪逻辑。

⭐ 作者提出了可在查询之前先应用LLM作为重写器对问题进行重写，然后再走RAG的流程。同时也提出了可以训练一个小模型来作为重写器。但博主对该小模型的泛化能力存疑。建议还是通过在提示词中给一些示例，让LLM进行重写。

⭐ 作者借鉴操作系统的知识，把LLM多智能体的协作看成是一个操作系统，包括短期的内存(记忆)管理器和长期的存储管理器、智能体调度器、访问管理器等。

⭐ 作者提出了KwaiAgents，由三个部分组成。(1)KAgentSys，一个自主代理循环，集成了存储库、工具库、任务规划和结束模块。(2)KAgentLMs，一套不断微调以增强代理能力的开源LLMs，可以帮助6B-13B的大模型具有较好的代理能力。(3)KAgentBench，一个评估LLMs在不同能力下对不同代理系统的响应性能的基准测试。

⭐ 为了解决思维链应用中的计算错误、缺失推理步骤错误和语义理解错误。作者引入了计划与解决提示策略。引导大语言模型制定一个将整个任务分解为较小子任务的计划，并根据计划执行子任务，从而达到更好的效果。

⭐ 作者提出了Mixtral-8x7B，是一种稀疏的混合专家模型，通过门控机制来选择专家(MoE层)，每个时间步只激活少量的专家，可以加快推理计算，但实际上要存储所有的参数所需的资源也是不少的。

⭐ 作者提出了Mistral模型，相比LLaMA引入一些改动：滑动窗口注意力、滚动缓存以及预填充和分块。不管是基础模型还是指令微调模型效果都比较优秀。

⭐ 作者受传统操作系统中层次化内存系统的启发，提出了虚拟上下文管理技术，通过在物理内存和磁盘之间进行分页，提供无限上下文的错觉。

作者提出了SELF-INSTRUCT，一种通过利用预训练语言模型自我生成来改进模型遵循指令能力的框架。首先从语言模型中生成指令、输入和输出样本，然后过滤无效或相似的样本。最后微调原始模型。