fan_fan_feng的专栏

为提高回答的准确性和可靠性，项目特别集成了RAG技术，该技术通过在生成回答前检索大量数据中的相关信息，有效提升了信息检索的精度并减少了误导性信息的产生。这一结合了检索和生成的方法确保了智能助手在信息提供上的准确性和权威性，使其成为用户处理海量数据时的有力工具。：利用检索到的文档作为上下文（Context），结合问题，生成一个prompt提交给大型语言模型（LLM），由其生成回答（Answer）。：将用户的查询向量化，并在知识库文档的向量索引中检索与查询最相似的top k个文档。

我们可以通过构造思维链，将 Prompt 构造成一系列步骤来尽量减少其能力限制，例如，我们可以构造一个两步的思维链，要求模型在第二步做出反思，以尽可能消除大模型的幻觉问题。由于大模型存在幻觉问题，有时我们会怀疑模型回答并非源于已有知识库内容，这对一些需要保证真实性的场景来说尤为重要，我们可以要求模型在生成回答时注明知识来源，这样可以避免模型杜撰并不存在于给定资料的知识，同时，也可以提高我们对模型生成答案的可信度。：评估系统回答中出现的幻觉内容的比例，即回答与检索到的知识片段之间的一致性。

这里以重写一个支持 智普api接口的LLM 组件# 继承自 langchain.llms.base.LLM# 默认选用 ERNIE-Bot-turbo 模型，即目前一般所说的百度文心大模型# 温度系数# API_Key'''构造 GLM 模型请求参数 messages请求参数：prompt: 对应的用户提示词'''# 首先定义一个返回默认参数的方法@property"""获取调用Ennie API的默认参数。

要求模型对长篇文章或文本进行摘要。

这篇文章是关于大模型应用开发的入门指南，提供了对常见闭源和开源大模型的简介，包括它们的参数量、架构类型、词表上下文长度等技术细节。文章还介绍了检索增强生成（RAG）的基本原理和工作流程，这是一种结合信息检索和自然语言生成的方法，用于生成符合用户需求的文本结果。特别地，文章详细阐述了LangChain框架，这是一个用于构建由语言模型驱动的应用程序的工具，它提供了模块化的组件和特定用例链，以实现数据感知和主动性。此外，文章还概述了大模型开发流程的关键步骤，包括设计、搭建整体架构、Prompt Engineeri

近日，国外研究者发布了一篇论文《Seven Failure Points When Engineering a Retrieval Augmented Generation System》，探讨了在实际工程落地RAG应用过程中容易出的七类问题。论文地址：https://arxiv.org/pdf/2401.05856.pdf。

大模型 RAG面试题 收集一