三月七꧁ ꧂-优快云博客

原创 LLM面试题四

然而，现有的方法使用偏好模型定义偏好损失来训练奖励模型，然后训练优化所学奖励模型的策略，而DPO使用变量的变化来直接定义偏好损失作为策略的一个函数。因此，该工作假设，对齐可以是一个简单的过程，模型学习与用户互动的风格或格式，以揭示在预训练中已经获得的知识和能力。可以有意构造如下的训练样本，以提升模型准守honest原则，可以算trick了：微调时构造知识问答类训练集，给出不知道的不回答，加强honest原则：阅读理解题，读过的要回答，没读过的不回答，不要胡说八道。奖励函数的设置需要根据问题目标进行调整。

2025-04-03 12:22:02 451

原创 LLM面试题三

提示学习的核心思想是，通过改造下游任务、增加专家知识，使任务输入和输出适合原始语言模型，从而在零样本或少样本的场景中获得良好的任务效果。生成任务表达单一的，样本也不多的，可适当调低temperature,生成的样子跟训练集的比较像；它的核心思想是在预训练模型每层中插入用于下游任务的参数，在微调时将模型主体冻结，仅训练特定于任务的参数，从而减少训练时算力开销。把之前的LoRA跟base model合并后，继续训练就可以，为了保留之前的知识和能力，训练新的LoRA时，加入一些之前的训练数据是需要的。

2025-04-03 09:35:34 212

原创 LLM面试题二

我理解ChatGLM-6B模型是走完“预训练-SFT-RLHF"过程训练后的模型，其SFT阶段已经有上千指令微调任务训练过，现在我们只是新增了一类指令数据，相对大模型而已，微调数据量少和微调任务类型单一，不会对其原有的能力造成大的影响，所以我认为是不会导致灾难性遗忘问题，我自己微调模型也没出现此问题。在预训练阶段，模型并没有针对特定任务进行优化，因此预训练模型通常是通用的，可以应用于多个不同的任务和领域。在微调阶段，可以根据具体任务的需求，调整模型的参数和结构，以更好地适应目标任务的特点。

2025-04-02 20:19:31 360

原创 LLM面试题一

而Decoder-only架构的Attention矩阵是一个下三角阵，注意三角阵的行列式等于它对角线元素之积，由于softmax的存在，对角线必然都是正数，所以它的行列式必然是正数，即Decoder-only架构的Attention矩阵一定是满秩的！通常微调用bf16，推理用p16，当在模型大小为XB且参数精度为半精度，推理所需显存约为X的两倍，而全参数微调所需显存约为推理所需显存的四倍，包括模型推理（一倍）、梯度（一倍）、优化器（两倍），也就是X的八倍。简单介绍一下大模型？大模型的涌现能力是？

2025-04-02 18:01:21 273

原创 Unlocking Decoding-time Controllability: Gradient-Free Multi-Objective Alignment with Contrastive Pr

多目标对齐的任务旨在平衡和控制大型语言模型的不同对齐目标(例如，有益、无害和诚实)，以满足不同用户的个性化需求。然而，以前的方法倾向于训练多个模型来处理各种用户偏好，训练模型的数量随着对齐目标的数量和不同偏好的数量而线性增长。同时，现有的方法通常扩展性差，并且对于每个考虑的新的对准目标需要大量的重新训练。

2025-04-01 17:08:24 743

原创 Symbolic Prompt Program Search: A Structure-Aware Approach to Efficient Compile-Time Prompt Optimiza

在许多现代LLM应用程序中，比如检索增强生成，提示本身已经变成了程序。在这些设置中，使用不同的用户查询或数据实例重复调用提示程序。一个巨大的实际挑战是优化这样的提示程序。最近的工作主要集中在简单的提示程序上，或者假设提示程序的一般结构是固定的。我们介绍SAMMO，一个为提示程序的编译时优化执行符号提示程序搜索的框架。SAMMO在符号级别上表示提示程序，允许在优化过程中搜索一组丰富的转换。

2025-04-01 15:43:22 609

原创 Balancing Multiple Objectives for Efficient Metaprompts for Data Labeling Tasks with Extensive Guide

在不断增加的上下文窗口大小的刺激下，在用于数据注释和模式提取的大型语言模型(LLM)的应用中的两个最新趋势是(I)具有复杂结构、丰富信息和任务指令的更长提示，以及(ii)在同一提示中处理许多数据点(迷你批处理)以提高查询效率。在注释和分析数据的过程中，相同的元提示被许多不同的输入重复使用，因此值得优化长度，因为计费与整体令牌使用成比例。首先，由于忽略了提示的结构，它们在可以执行的转换操作方面受到限制；其次，它们没有考虑诸如输入和输出成本或遵守输出规范等重要因素。

2025-03-27 17:02:12 1463

原创 TAPO: Task-Referenced Adaptation for Prompt Optimization

提示工程可以显著提高大型语言模型(LLM)的性能，自动提示优化(APO)由于手动提示设计的费时费力而备受关注。然而，APO的许多现有工作忽略了特定任务的特征，导致提示缺乏领域特异性，不太适合特定任务的优化。在本文中，我们介绍了TAPO，一个多任务感知的提示优化框架，由三个关键模块组成。首先，提出了一个任务感知的度量选择模块来增强特定于任务的提示生成能力。其次，我们提出了一个多指标评估模块，从多个角度联合评估提示。第三，引入了一个基于进化的优化框架，用于自动提示细化，这提高了跨各种任务的适应性。

2025-03-27 16:46:25 766

原创 Pinecone数据库介绍、Milvus数据库介绍

对于初步接触LLM应用开发的开发者来说，选择一个高性能的向量搜索工具是关键的初步决策。Pinecone为此提供了一个完美的解决方案。Pinecone是一个云原生的向量数据库，专门为高性能向量搜索应用程序设计。借助其托管服务和简化的API接口，开发者可以集成其功能，而无须过多关注底层基础架构的细节。下面我们介绍Pinecone的主要特性，这些特性使其在LLM应用开发领域中脱颖而出。高速查询性能。Pinecone确保即使在数十亿条目中也能保持超低的查询延迟，满足实时应用的需求。实时索引更新。

2025-03-26 11:16:11 83

原创 Claude2模型介绍、Cohere模型介绍、PaLM2模型介绍

随着LLM应用的广泛应用，开发者对于高效、高性能的语言模型的需求日益增强。在这一背景下，Cohere应运而生，为开发者提供了一个先进的语言处理API。Cohere的核心能力Cohere不仅训练了大型的语言模型，并通过一个简洁的API为开发者提供服务，还允许用户根据自己的需求训练定制的大型模型。这意味着开发者无须为收集大量的文本数据，选择合适的神经网络架构、分布式训练或模型部署而感到困扰。Cohere为开发者处理了所有这些复杂问题。

2025-03-26 11:07:28 31

原创 OpenAI平台和模型介绍

对于初学者和专业的开发者来说，理解OpenAI平台的API强大功能，以及如何利用它构建LLM应用是至关重要的。当开发者决定在LLM应用中采用OpenAI技术时，了解OpenAI的模型更新策略和模型版本是至关重要的。对于希望利用现代技术为其LLM应用增添动力的开发者来说，了解OpenAI的主要应用场景是非常有益的。当开发者决定在LLM应用中集成OpenAI时，了解其提供的不同模型是至关重要的。在深入研究如何使用OpenAI为LLM应用带来价值之前，了解其核心概念是至关重要的。

2025-03-25 10:36:22 33

原创 LangChain框架中的主要类

它是由一个LLMChain驱动的，其中LLMChain的提示必须包括一个名为“agent_scratchpad’”的变量，代理可以放置其中间工作。在LangChain框架中，BaseTool类为所有LangChain工具提供了一个基本的接口。在LangChain框架中，BaseLLM类为大型语言模型（LLM)提供了一个核心的接口，其定义了与模型的基本交互方式。在LangChain框架中，BaseCallbackManager类为LangChain的回调提供了基础的管理接口。

2025-03-25 10:07:25 370

原创 Transtormer模型和语义搜索

幸运的是，Transformer模型的架构并不复杂，它只是一些有用组件的连接，每个组件都有其特定的功能。与传统的关键字搜索相比，语义搜索提供了更高的准确性和灵活性，使得开发者可以为用户提供更加丰富和准确的搜索体验。由于文本数据的非结构化特性，其格式和质量可能会有所不同，这可能会引入噪声，影响构建的LP模型的性能。幸运的是，这是正确的响应。这种逐词构建文本的方法可能与人类形成句子和思考的方式不同，但这正是Transformer模型如此出色的原因：它们能够非常好地跟踪上下文，从而选择恰当的下一个词汇。

2025-03-24 16:28:48 224

原创 LLM的核心知识

例如，在之前的电影示例中，“You’ve got mail’”与“Taken’”之间的角度为“90”，其余弦值为“0”，表示它们之间的相似度为“0”。简而言之，词嵌入是一种将词与数字列表（向量)相关联的方法，使得相似的词产生距离较近的数字，而不同的词产生距离较远的数字。对于相似的句子，它们的嵌入向量的点积会很大；最理想的位置是C点，因为“Apple’”这个词与“Cherry”、“Watermelon’”和“Grapes”这些词都很接近，而与“House’”、“Car”或“Tennis’”这样的词距离较远。

2025-03-24 12:13:53 26

原创 Agent toolkits集成指南

Agent toolkits的集成旨在简化并增强LLM应用中的数据处理和分析功能。CSVAgent提供了一个专门的工具，允许开发者处理CSV数据。Pandas Agent则集成了Pandas框架，赋予了开发者在应用中进行高效数据操作的能力。另外，为了满足先进的数据可视化需求，PowerBI Agent与Microsoft PowerBI紧密结合，为开发者带来了丰富的、直观的数据可视化工具。这些工具套件确保了LLM应用的数据处理、分析和可视化都既简单又高效。

2025-03-20 21:14:00 216

原创嵌入模型集成指南和Retrievers集成指南

Cohere Embeddings提供了与Cohere平台的无缝对接，确保文本嵌入过程既高效又精确。而HuggingFaceEmbeddings和LlamaCppEmbeddings则代表了另外两种文本嵌入集成方法。它们都经过严格的测试，以确保与Hugging Face Hub和Llama.cpp平台的稳定和高效交互，使得开发者可以更轻松地在其LLM应用中使用这些先进的嵌入技术。

2025-03-20 20:44:53 294

原创 Understanding the Importance of Evolutionary Search in Automated Heuristic Design with Large Languag

自动启发式设计(AHD)因其自动化有效启发式开发的潜力而获得了相当多的关注。大型语言模型(LLM)的最近出现为AHD铺平了一条新的道路，最初的努力集中在将AHD框架作为一个进化程序搜索(EPS)问题。然而，不一致的基准设置、不充分的基线和缺乏详细的成分分析使得将LLM与搜索策略相结合的必要性以及现有的基于LLM的EPS方法所取得的真正进展不充分。这项工作试图通过进行一个大规模的基准测试来完成这些研究问题，该基准测试包括四个基于LLM的EPS方法和四个AHD问题，涉及九个LLM和五次独立运行。

2025-03-19 22:17:45 819

原创 EVERYTHING OF THOUGHTS : DEFYING THE LAW OF PENROSE TRIANGLE FOR THOUGHT GENERATION

大型语言模型(LLM)的最新进展通过将复杂的问题分解为更易于管理的语言序列(称为“思想”)而彻底改变了决策。有效的思想设计应该考虑三个关键方面:性能、效率和灵活性。然而，现有的思想最多只能展示其中的两个属性。为了解决这些局限性，我们引入了一种新的思维激励方法，称为“思想的一切”(XOT)，以挑战现有思维范式的“彭罗斯三角”定律。XOT利用预训练强化学习和蒙特卡罗树搜索(MCTS)将外部领域知识和规划能力融入到思想中，从而增强LLM的能力，使他们能够有效地概括未知的问题。

2025-03-19 21:56:17 1059

原创 EvoFlow: Evolving Diverse Agentic Workflows On The Fly

在过去的两年里，基于大型语言模型(LLM)的多智能体系统经历了从劳动密集型手工设计到部分自动化(例如，即时工程、通信拓扑)以及最终到全自动化设计的演变。然而，现有的代理自动化管道通常缺乏LLM异构性，并专注于单目标性能优化，这限制了它们将较弱的模型组合成更加定制和经济高效的解决方案的潜力。为了应对这一挑战，我们提出了EvoFlow，这是一个基于小生境进化算法的框架，用于自动搜索异构和复杂性自适应的代理工作流群体，而不是单个同构的复杂工作流。

2025-03-18 10:29:49 1034

原创 AFLOW: AUTOMATING AGENTIC WORKFLOW GENERATION

大型语言模型(LLM)在解决跨不同领域的复杂任务方面表现出显著的潜力，通常通过采用遵循详细指令和操作序列的代理工作流来实现。然而，构建这些工作流需要大量的人力，限制了可扩展性和可推广性。最近的研究已经寻求自动化这些工作流的生成和优化，但是现有的方法仍然依赖于初始的手动设置，并且不能实现完全自动化和有效的工作流生成。为了应对这一挑战，我们将工作流优化重新表述为代码表示的工作流上的搜索问题，其中LLM调用节点由边连接。

2025-03-18 10:29:02 503

原创 MORL-Prompt: An Empirical Analysis of Multi-Objective Reinforcement Learning for Discrete Prompt Opt

可以采用基于RL的技术来搜索提示，当将其输入目标语言模型时，最大化一组用户指定的奖励函数。然而，在许多目标应用中，自然的回报函数是相互矛盾的——例如，在风格转换任务中，内容保留与风格匹配。目前的技术专注于最大化奖励函数的平均值，这不一定会导致实现奖励平衡的提示——这是一个在多目标和鲁棒优化文献中已经得到充分研究的问题。在本文中，我们进行了几个现有的多目标优化技术的经验比较，适应这一新的设置:基于RLS的离散提示优化。我们比较了两种优化帕累托回报面的方法，以及一种选择同时使所有回报受益的更新方向的方法。

2025-03-17 10:11:15 1008

原创 Survival of the Safest: Towards Secure Prompt Optimization through Interleaved Multi-Objective Evolu

大型语言模型(LLM)已经展示了非凡的能力；然而，优化他们的提示在历史上优先考虑性能指标，而牺牲了关键的安全性和安全性考虑。为了克服这个缺点，我们引入了“最安全的生存”(SoS)，这是一个创新的多目标即时优化框架，可以同时增强LLM的性能和安全性。SoS利用交叉多目标进化策略，集成语义、反馈和交叉变异，以有效地遍历离散提示空间。与计算要求高的Pareto front方法不同，SoS提供了一种可扩展的解决方案，可以在复杂的高维离散搜索空间中加速优化，同时保持较低的计算要求。

2025-03-17 10:10:36 958

原创向量库集成指南

与单独的向量索引不同，像Pinecone这样的向量数据库提供了额外的功能，例如，索引管理、数据管理、元数据存储和过滤，以及水平扩展。MiLvus是一个专门的向量数据库，旨在为由深度神经网络和其他机器学习模型生成的大规模嵌入向量提供存储、索引和管理，其能够轻松管理万亿级别的向量索引。使用开源嵌人模型和Chroma这样的向量存储工具，可以有效地搜索大量的文档，并快速找到与特定查询相关的部分。需要注意的是，在实际应用中，你可能需要调整文档切割的大小，并选择不同的嵌入模型，以适应特定的需求和数据集。

2025-03-14 23:49:30 492

原创聊天模型集成指南

这样，经过格式化的提示词可以反映出助手的功能（从英语翻译为法语)和用户的原始输人(I love programming),并将其整合为一个完整的、为语言模型准备的提示词，从而引导模型提供相关的回复。下面参照以下代码进行配置提示词模板。与Azure上的OpenAI端点交互主要涉及以下步骤：首先，要配置必要的基本信息，包括Azure上的OpenAI API的基本URL（BASE_URL)、API密钥（API KEY)用于身份验证及访问服务，以及代表Azure部署的名称（DEPLOYMENT NAME)。

2025-03-14 23:30:28 330

原创 Search-in-the-Chain: Interactively Enhancing Large Language Models with Search for Knowledge-intensi

使大型语言模型(LLM)生成的内容准确、可信和可追溯至关重要，尤其是在需要多步推理且每一步都需要知识来解决的复杂知识密集型任务中。检索增强生成很有可能解决这个问题。然而，在哪里以及如何将信息检索引入LLM是一个很大的挑战。以往的工作存在着信息检索得到的错误知识误导逻辑推理，以及信息检索和逻辑推理之间的交互破坏逻辑推理链的问题。本文提出了一个新的框架，称为链中搜索(SearChain ),用于LLM和IR之间的交互，以解决这些挑战。

2025-03-13 23:38:44 751

原创 Interleaving Retrieval with Chain-of-Thought Reasoning for Knowledge-Intensive Multi-Step Questions

基于提示的大型语言模型(LLM)在为多步问答(QA)生成自然语言推理步骤或思维链(CoT)方面惊人地强大。然而，当必要的知识对于LLM来说是不可获得的或者在其参数内不是最新的时，它们会很困难。虽然使用问题从外部知识源检索相关文本有助于LLM，但我们注意到这种一步检索和阅读的方法对于多步问答是不够的。这里，检索什么取决于已经导出的内容，而导出的内容又可能取决于以前检索的内容。

2025-03-13 23:23:05 763

原创 PersonaRAG: Enhancing Retrieval-Augmented Generation Systems with User-Centric Agents

由于过时的知识和幻觉，大型语言模型(LLM)难以产生可靠的输出。检索增强生成(RAG)模型通过用外部知识增强LLM来解决这个问题，但是通常不能个性化检索过程。本文介绍了PersonaRAG，这是一个新的框架，结合了以用户为中心的代理，以适应基于实时用户数据和交互的检索和生成。通过对各种问答数据集的评估，PersonaRAG展示了相对于基线模型的优越性，为用户需求提供了量身定制的答案。这些结果为用户适应的信息检索系统提出了有希望的方向。

2025-03-12 22:24:36 1125

原创 Leveraging LLM Agents for Automated Optimization Modeling for SASP Problems: A Graph-RAG based Appro

随着大型语言模型(LLM)的快速发展，自动优化建模(AOM)引起了人们极大的兴趣。现有方法主要依赖于即时工程，利用精心设计的专家响应链或结构化指导。然而，由于缺乏特定领域的知识，基于prompt的技术在传感器阵列信号处理(SASP)领域表现不佳。为了解决这个问题，我们提出了一种基于检索增强生成(RAG)技术的自动建模方法，该方法由两个主要部分组成:多代理(MA)结构和基于图的RAG (GraphRAG)过程。MA结构是为建筑AOM过程定制的，每个代理都是根据人类建模过程的原则设计的。

2025-03-12 22:10:34 772

原创 RAG-Guided Large Language Models for Visual Spatial Description with Adaptive Hallucination Correcto

视觉空间描述(VSD)是一种新兴的图像到文本的任务，旨在生成图像中给定对象之间的空间关系的描述。在本文中，我们将检索增强生成(RAG)技术应用于指导用于VSD任务的多模态大型语言模型(MLLMs ),辅以自适应幻觉校正器，并进一步微调它们以支持语义理解和整体模型功效。我们发现，在VSD任务中，我们的方法在空间关系分类和视觉语言描述任务中表现出更高的准确性和更少的幻觉错误，达到了最先进的结果。

2025-03-10 23:15:06 834

原创 P-RAG: Progressive Retrieval Augmented Generation For Planning on Embodied Everyday Task

具体化日常任务是具体化AI社区中的一个流行任务，要求代理根据自然语言指令和视觉观察做出一系列动作。传统的基于学习的方法面临两个挑战。首先，自然语言指令通常缺乏明确的任务规划。第二，需要大量的训练来使模型具备任务环境的知识。以往基于大型语言模型(LLM)的工作要么由于缺乏特定任务知识而表现不佳，要么依赖地面真实作为少量样本。为了解决上述限制，我们提出了一种新的方法，称为渐进检索增强生成(P-RAG ),它不仅有效地利用了LLM强大的语言处理能力，而且渐进地积累特定任务的知识，而不需要地面事实。

2025-03-10 23:04:53 1010

原创聊天模型集成指南

与Azure上的OpenAI端点交互主要涉及以下步骤：首先，要配置必要的基本信息，包括Azure上的OpenAI API的基本URL(BASE_URL)、API密钥（API_KEY)用于身份验证及访问服务，以及代表Azue部署的名称（DEPLOYMENT_NAME)。这样，经过格式化的提示词可以反映出助手的功能（从英语翻译为法语)和用户的原始输人(I love programming),并将其整合为一个完整的、为语言模型准备的提示词，从而引导模型提供相关的回复。然后发送一个“人类消息”，要求翻译一个句子。

2025-03-09 16:03:31 472

原创 Zero-Shot Multi-Hop Question Answering via Monte-Carlo Tree Search with Large Language Models

大型语言模型(LLM)的最新进展极大地影响了多跳问答(MHQA)领域，在该领域中，系统需要从不同的文本片段中聚集信息并推断答案。然而，LLM的自回归性质固有地提出了一个挑战，因为如果在中间推理步骤中出现错误，错误可能会累积。介绍了零炮多跳问题回答的蒙特卡罗树搜索(MZQA)，这是一个基于蒙特卡罗树搜索(MCTS)的框架，用于识别MHQA任务中的最优推理路径，减少顺序推理过程中的错误传播。

2025-03-09 15:44:27 779

原创集成的背景与LLM集成学习

SCDF允许开发者轻松创建、部署和监控数据流处理管道，更重要的是，它支持与多种云平台集成，为云原生应用的开发提供了极大的灵活性。更为出色的是，它设有一个模型库，其中涵盖了众多常用的预训练模型，以及为各种任务进行微调的模型，使得模型的下载变得简单、快捷。LangChain结合LLM的特性，提供了一套完整的工具和技术，简化了LLM应用的开发、部署和管理。以下是其核心分类及相关描述。更为重要的是，它来源于Azue平台，一个在云计算领域具有权威地位的平台，这确保了其稳定性和高效性，为LLM应用提供了有力的支持。

2025-03-05 16:52:52 284

原创创建BabyAGI

但是，返回的URL并不总是有效的。例如，程序返回的URL可能会导致404错误，或者返回的价格可能和网站上显示的价格不一致。程序则会生成一个待办事项列表，包括搜索在线零售商，比较不同在线零售商的价格，查找折扣或促销活动，以及阅读每个在线零售商的客户评论。这是一个不断学习和思考的过程，我们可以根据需要调整提示词、添加新的链组件，或者改进现有的链组件。在早前的版本中，程序会无限循环下去，而在这个版本中，可以通过设置迭代次数上限来限制循环的次数（max iterations:Optional[int]=7)。

2025-03-05 16:35:20 482

原创 PARETO PROMPT OPTIMIZATION

自然语言迅速优化或及时工程已成为一种强大的技术，可以解锁大型语言模型（LLMS）的各种任务的潜力。尽管现有方法主要集中于最大化LLM输出的单一特定任务性能指标，但现实世界中的应用程序通常需要考虑多个目标之间的权衡。在这项工作中，我们通过提出一种针对LLM的多目标提示优化的有效技术来解决此限制。具体而言，我们提出了甲状腺酸占据，这是一种增强学习方法（RL）方法，该方法利用提示之间的优势关系来推导策略模型，以使用基于首选项的损失功能来提示优化。

2025-03-04 23:25:43 748

原创 Opus A Large Work Model for Complex Workflow Generation

本文介绍了Opus，这是一个新颖的框架，用于生成和优化针对复杂业务流程外包(BPO)用例定制的工作流，重点关注降低成本和提高质量，同时遵守既定的行业流程和运营约束。我们的方法从意图生成可执行的工作流，定义为客户端输入、客户端输出和过程上下文的对齐。这些工作流被表示为有向无环图(Dag ),节点作为由可执行指令序列组成的任务，包括工具和人类专家评审。我们采用两阶段方法:工作流生成和工作流优化。

2025-03-04 23:04:21 851

原创 EVOAGENT: Towards Automatic Multi-Agent Generation via Evolutionary Algorithms

强大的大型语言模型(LLM)的出现激发了一种新的趋势，即构建基于LLM的自治代理来解决复杂的任务，尤其是多代理系统。尽管取得了显著的进步，我们注意到现有的工作严重依赖于人设计的框架，这极大地限制了代理系统的功能范围和可扩展性。如何将专门的智能体自动扩展到多智能体系统以提高任务求解能力仍然是一个重大的挑战。本文介绍了EVOAGENT，一种通过进化算法将专家代理自动扩展到多代理系统的通用方法，从而提高基于LLM的代理在解决任务时的效率。

2025-03-03 23:32:43 920

原创 MasRouter: Learning to Route LLMs for Multi-Agent Systems

已证明由大语言模型（LLM）提供动力的多机构系统（MAS）可以推动LLM功能的界限，但它们经常会造成巨大的成本并在动态LLM选择中面临挑战。当前的LLM路由方法通过为每个查询自定义LLM选择有效地减少了单个代理方案中的开销，但它们忽略了有关MAS中协作模式和代理角色的关键决策。为了应对这一挑战，我们首先介绍了多代理系统路由（MASR）的问题，该问题将MAS的所有组件集成到统一的路由框架中。为了实现这一目标，我们提出了Masrouter，这是第一个高性能，具有成本效益和电感的MASR解决方案。

2025-03-03 23:17:13 840

原创 KnowledGPT: Enhancing Large Language Models with Retrieval and Storage Access on Knowledge Bases

大语言模型（LLM）在自然语言处理领域表现出了令人印象深刻的影响，但它们仍然面临着完整性、及时性、忠实性和适应性等问题。虽然最近的工作重点是将法学硕士与外部知识源联系起来，但知识库（KB）的整合仍然没有得到充分研究，并面临一些挑战。在本文中，我们介绍了 KnowledGPT，这是一个将法学硕士与各种知识库联系起来的综合框架，有助于知识的检索和存储。检索过程采用思维提示程序，生成代码格式的知识库搜索语言，并带有预定义的知识库操作函数。

2025-03-01 21:54:03 1011 1

原创 Large-Scale Relation Learning for Question Answering over Knowledge Bases with Pre-trained Language

知识库问答（KBQA）的关键挑战是自然语言问题与知识库（KB）中推理路径的不一致。最近基于图的 KBQA 方法擅长掌握图的拓扑结构，但经常忽略节点和边携带的文本信息。同时，预训练的语言模型从大型语料库中学习大量开放世界知识，但它是自然语言形式而不是结构化的。为了弥合自然语言和结构化知识库之间的差距，我们为基于 BERT 的知识库问答提出了三个关系学习任务，包括关系提取、关系匹配和关系推理。通过关系增强训练，模型学习将自然语言表达与知识库中的关系对齐，并对知识库中缺失的连接进行推理。

内容概要：本文探讨了‘预训练、提示、预测（pre-train, prompt, predict）’范式在多文档问答（Multi-document Question Answering，MD-QA）任务中的表现和不足。由于传统方法难以应对跨多个文档理解和关联信息的需求，作者提出了一种基于知识图谱的知识图谱提示方法（Knowledge Graph Prompting，KGP）。KGP方法构建了一个由文档片段构成的节点并利用词法/语义相似度建立连边形成的图结构，并进一步设计了一种基于大规模语言模型（LLMs）的遍历机制来辅助回答MD-QA任务。实验结果证明，该方法能够有效地捕捉和支持多源信息的推理与检索，显著提高了MD-QA的任务表现。适用人群：对自然语言处理领域有一定背景的人士、希望深入理解大规模语言模型以及知识图谱的应用研究人员、致力于改善文本检索系统的工程师。使用场景及目标：本研究表明了在涉及复杂文本关系处理如金融、医疗领域的文档自动化审查时采用KGP的优越性和实用性；目标为改进多来源数据间的交互查询方式，从而优化信息检索质量。其他说明：文中详细介绍了KGP的设计细节和技术优势，

2025-03-05

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人