RAG与LC：长上下文任务中的表现与优化策略

在这里插入图片描述

想把握最新的科技进展和研究成果，却发现自己的阅读速度根本赶不上文献产出的速度？

别担心，AMiner AI会帮助你高效检索和阅读文献！

AMiner AI，一款集发现论文、分析论文、理解论文、写作论文于一体的科研小助手。它会帮助你更加游刃有余地穿梭在学术海洋中，让科研变得更加有趣和高效！

大模型(LLM)是一种人工智能模型，旨在理解和生成人类语言。它们在大量的文本数据上进行训练，可以执行广泛的任务，包括文本总结、翻译、情感分析等等。LLM的特点是规模庞大，包含数十亿的参数，帮助它们学习语言数据中的复杂模式。这些模型通常基于深度学习架构，如转化器，这有助于它们在各种NLP任务上取得令人印象深刻的表现。

2022年底，OpenAI 推出的基于 GPT-3.5 的大型语言模型 ChatGPT，由于其优秀的表现，ChatGPT 及其背后的大型语言模型迅速成为人工智能领域的热门话题，吸引了广大科研人员和开发者的关注和参与。

本周精选了5篇LLM领域的优秀论文，为了方便大家阅读，只列出了论文标题、AMiner AI综述等信息，如果感兴趣可扫码查看原文，PC端数据同步（收藏即可在PC端查看），每日新论文也可登录小程序查看。

**1. **Retrieval Augmented Generation or Long-Context LLMs? A Comprehensive Study and Hybrid Approach****✦

✦

本文对比了检索增强生成（RAG）和长上下文（LC）语言模型在处理长上下文任务中的表现，旨在结合两者的优点。通过在三个最新的LLM模型上使用各种公开数据集对RAG和LC进行基准测试，结果表明，当资源充足时，LC在平均性能上始终优于RAG。然而，RAG的计算成本显著较低，仍具有优势。基于这一观察，作者提出了Self-Route方法，这是一种简单而有效的方法，根据模型的自我反思将查询路由到RAG或LC。Self-Route方法显著降低了计算成本，同时保持了与LC相当的性能。研究结果为使用RAG和LC的LLM长上下文应用提供了指导。

在这里插入图片描述

链接：https://www.aminer.cn/pub/66a1b12601d2a3fbfc21f2de/?f=wx阅读原文

2. A Comprehensive Survey of LLM Alignment Techniques: RLHF, RLAIF, PPO, DPO and More

本文全面调查了近期用于改进大型语言模型（LLM）与其生成回应之间人类期望对齐的技术，如RLHF、RLAIF、PPO、DPO等。随着自监督学习的进步、大规模预训练语料库中数十万亿个标记的可用性、指令微调和参数达数十亿的大型Transformer模型的开发，大型语言模型已能对人类查询生成事实性和连贯的回应。但训练数据的质量参差不齐可能会导致生成不期望的回应，带来了显著挑战。尽管过去两年从不同角度提出了多种改进LLM的方法，尤其是改进它们与人类期望之间的对齐，但尚未有综述文章对这些方法进行分类和详细说明。本研究旨在填补这一空白，将相关论文按不同主题进行分类，并详细解释每种对齐方法，帮助读者深入了解该领域的当前状态。

链接：https://www.aminer.cn/pub/66a05fdb01d2a3fbfcb0b181/?f=wx阅读原文

**3. **Shared Imagination: LLMs Hallucinate Alike****✦

✦

大型语言模型（LLM）尽管在近期大量涌现，但它们的训练方法—模型架构、预训练数据和优化算法—往往非常相似。这自然引出了一个关于 resulting models 之间相似性的问题。在这篇论文中，我们提出了一个新奇的设定，想象中的问题回答（IQA），以更好地理解模型之间的相似性。在IQA中，我们要求一个模型生成纯粹虚构的问题（例如，关于物理学中完全虚构的概念），并提示另一个模型回答。令人惊讶的是，尽管这些问题完全是虚构的，但所有模型都能以极大的成功回答彼此的问题，这表明了一个“共享想象空间”，在这些模型进行这种幻觉操作期间，它们在其中运作。我们对这一现象进行了一系列的调查，并讨论了关于模型同质性、幻觉和计算创造力等方面的影响。

链接：https://www.aminer.cn/pub/66a0601701d2a3fbfcb24bb3/?f=wx阅读原文

4.ChatQA 2: Bridging the Gap to Proprietary LLMs in Long Context and RAG Capabilities

✦

本文介绍了ChatQA 2，一个基于Llama3的模型，旨在缩小开源大型语言模型（LLMs）与顶尖私有模型（如GPT-4-Turbo）在长上下文理解和检索增强生成（RAG）能力方面的差距。这两种能力对于LLMs处理无法一次性嵌入单条提示的大量信息至关重要，并且根据下游任务和计算预算的不同，它们相互补充。文中详细介绍了如何将Llama3-70B-base的上下文窗口从8K扩展到128K令牌的持续训练方法，以及通过三阶段指令调优过程来提高模型的指令遵循能力、RAG性能和长上下文理解能力。实验结果表明，Llama3-ChatQA-2-70B模型在许多长上下文理解任务上的准确性可与GPT-4-Turbo-2024-0409相媲美，并且在RAG基准测试中超过了它。有趣的是，我们发现最先进的长上下文检索器可以缓解RAG中的top-k上下文碎片化问题，从而进一步提高长上下文理解任务的RAG基础结果。文中还提供了使用最先进的长上下文LLMs对RAG和长上下文解决方案进行广泛比较的结果。

链接：https://www.aminer.cn/pub/669dbc8001d2a3fbfca4235e/?f=wx阅读原文

5. RAG-QA Arena: Evaluating Domain Robustness for Long-form Retrieval Augmented Question Answering

✦

这篇论文介绍了一种新的自然语言处理领域的研究课题——基于检索增强生成的问答（RAG-QA），并指出现有的用于此任务的数据集存在一些局限性。为了克服这些局限性，研究者创建了长格式鲁棒问答（LFRQA）数据集，该数据集包括由人类编写的长格式答案，这些答案将来自多个文档的短提取式答案集成到单个连贯的故事中，涵盖了七个不同领域的26K个查询和大量语料库。此外，研究者还提出了RAG-QA竞技场，通过将模型生成的答案直接与LFRQA的答案进行比较，使用大型语言模型（LLM）作为评估者。实验结果表明，RAG-QA竞技场和人类对答案质量的判断高度相关。此外，只有41.3%的LLM生成的答案被认为优于LFRQA的答案，这表明RAG-QA竞技场是一个对未来研究具有挑战性的评估平台。

如何订阅每日新论文？

打开AMiner首页，点击管理订阅，选择所在领域的关键词、学者和机构即可。

此外，可以选择将订阅内容发送至邮箱或微信。输入邮箱或扫描二维码授权登录，即可接收个性化的科研信息。

零基础如何学习大模型 AI

领取方式在文末

为什么要学习大模型？

学习大模型课程的重要性在于它能够极大地促进个人在人工智能领域的专业发展。大模型技术，如自然语言处理和图像识别，正在推动着人工智能的新发展阶段。通过学习大模型课程，可以掌握设计和实现基于大模型的应用系统所需的基本原理和技术，从而提升自己在数据处理、分析和决策制定方面的能力。此外，大模型技术在多个行业中的应用日益增加，掌握这一技术将有助于提高就业竞争力，并为未来的创新创业提供坚实的基础。

大模型实际应用案例分享

①智能客服：某科技公司员工在学习了大模型课程后，成功开发了一套基于自然语言处理的大模型智能客服系统。该系统不仅提高了客户服务效率，还显著降低了人工成本。
②医疗影像分析：一位医学研究人员通过学习大模型课程，掌握了深度学习技术在医疗影像分析中的应用。他开发的算法能够准确识别肿瘤等病变，为医生提供了有力的诊断辅助。
③金融风险管理：一位金融分析师利用大模型课程中学到的知识，开发了一套信用评分模型。该模型帮助银行更准确地评估贷款申请者的信用风险，降低了不良贷款率。
④智能推荐系统：一位电商平台的工程师在学习大模型课程后，优化了平台的商品推荐算法。新算法提高了用户满意度和购买转化率，为公司带来了显著的增长。
…
这些案例表明，学习大模型课程不仅能够提升个人技能，还能为企业带来实际效益，推动行业创新发展。