- 博客(11)
- 收藏
- 关注
RSS订阅原创 《Self-Rag: Learning to Retrieve, Generate, and Critique through Self-Reflection》论文阅读
自我反思检索增强生成（SELF-Rag）:1. 确定是否需要检索给定输入提示和生成内容，SELF-Rag决定是否需要用检索到的文档来增强后续生成。如果需要检索，模型会生成一个检索标记，调用检索模型按需检索相关文档。2. 处理检索到的文档SELF-Rag同时处理多个检索到的文档，评估这些文档的相关性。模型会生成相关性标记（ISREL token）来评估每个文档是否与输入相关。3. 生成任务输出在评估文档相关性后，模型生成相应的任务输出。模型会生成支持性标记。
2025-03-26 16:54:25
809
1
原创 《REACT: SYNERGIZING REASONING AND ACTING INLANGUAGE MODELS》论文阅读
尽管LLMs在语言理解和交互式决策任务中展现了令人印象深刻的性能，但其推理能力（如链式思维推理）和行动能力（如行动计划生成）主要被作为独立的研究课题进行研究。在本文中，我们探索了使用LLMs以交替的方式生成推理轨迹和任务相关行动，从而实现两者之间更大的协同作用：推理轨迹帮助模型推导、跟踪和更新行动计划，并处理异常情况，而行动则允许模型与外部源（如知识库或环境）交互并获取额外信息。
2025-03-14 15:41:16
836
1
原创 《MiniLLM: Knowledge Distillation of Large Language Models》论文阅读
知识蒸馏（Knowledge Distillation, KD）是一种有前景的技术，能够减少LLMs的高计算需求。然而，以往的KD方法主要应用于白盒分类模型或通过模仿黑箱模型API（如ChatGPT）来训练小型模型。如何有效地将白盒LLMs的知识蒸馏到小型模型中仍然是一个未充分探索的领域，而随着开源LLMs的兴起，这一问题变得愈发重要。在本研究中，我们提出了一种KD方法，将LLMs蒸馏到较小的语言模型中。
2025-03-10 22:09:44
633
1
原创 《UDAPDR: Unsupervised Domain Adaptation via LLM Prompting and Distillation of Rerankers》论文阅读
许多信息检索任务需要大量标注数据进行微调。然而，这些数据集通常难以获得，并且由于领域转移（domain shift），它们在现实应用中的效用可能会迅速下降。为了解决这一挑战，我们开发并论证了一种利用大语言模型（LLMs）廉价生成大量合成查询的方法。该方法首先使用昂贵的 LLM（如 GPT-3）生成少量合成查询，然后使用成本较低的 LLM（如 Flan-T5）生成大量合成查询，这些查询用于微调一系列重排序模型（rerankers）。接着，这些重排序模型被蒸馏成一个高效的检索模型，用于目标领域。
2025-03-04 16:32:16
756
1
原创 Precise Zero-Shot Dense Retrieval without Relevance Labels论文阅读
尽管稠密检索（dense retrieval）在多种任务和语言中已被证明是有效且高效的，但在没有相关性标签的情况下，创建有效的完全零样本（zero-shot）稠密检索系统仍然具有挑战性。在本文中，我们认识到零样本学习和编码相关性的困难。相反，我们提出通过假设文档嵌入（Hypothetical Document Embeddings, HyDE）来实现这一目标。给定一个查询，HyDE 首先通过一个指令遵循的语言模型（如 InstructGPT）生成一个假设文档。
2025-02-27 22:24:27
1043
1
原创 《TRUE: Re-evaluating Factual Consistency Evaluation》论文阅读
基于文本的生成系统常生成包含事实不一致的文本，限制了其实际应用。自动事实一致性评估可通过加速评估周期、过滤不一致输出和增强训练数据来缓解这一问题。尽管相关研究日益增多，但这些指标通常在单一任务或数据集上孤立开发和评估，阻碍了其广泛应用。此外，以往的元评估协议侧重于系统级与人工标注的相关性，导致指标在单例层面的准确性尚不明确。本文提出TRUE，通过对现有多任务文本的标准化整合与人工标注，全面评估事实一致性指标。标准化使元评估协议更具可操作性和可解释性，提供更清晰的质量度量。
2025-02-26 21:23:11
1003
1
原创 Citation-Enhanced Generation for LLM-based Chatbots论文阅读
检索增强模块：该模块用于搜索与原始回答R相关的文档 Dj。如果回答过长，可以将其分解为多个子声明R={R1,R2,...,Rn}。引用生成模块：该模块评估检索到的文档Dj是否支持回答中的声明{Ri}。回答再生模块：该模块负责生成一个新的提示，该提示结合了原始用户查询和检索到的关键信息，以便LLM生成更可靠的回答R′。注意，CEG是一个后处理框架，并且高度适用于不同的LLM，因为它不需要任何额外的训练或微调。因此，作者在这里没有指定特定的LLM。FELMHaluEval和WikiRetr。
2025-02-24 18:11:46
724
1
原创 From Pretraining Data to Language Models to Downstream Tasks: Tracking the Trails of Political Biase
数字和社交媒体已经成为政治新闻传播的主要来源，用户参与率前所未有地高。过去十年，围绕极化议题（气候变化、枪支控制、堕胎、工资差距、死刑、税收、同性婚姻等）的在线讨论量急剧增加。虽然在线政治参与促进了民主价值观和多元化的观点，但这些讨论也反映和强化了社会偏见——对人们或社会群体的刻板印象。这种语言构成了大型语言模型的预训练数据的主要部分，将偏见传播到下游模型中。
2023-10-08 15:51:42
730
1
原创 LLM指令调优综述——Instruction Tuning for Large Language Models: A Survey
本文是《Instruction Tuning for Large Language Models: A Survey》的翻译
2023-09-20 20:54:10
1821
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人