草莓冰沙wa-优快云博客

原创【学习笔记】Think-on-Graph: Deep and Responsible Reasoning of Large Language Model on Knowledge Graph

最多调用2ND+D+1次LLM，其中“2ND”表示D次探索（beam search为N，探索包括关系探索和实体探索两部分），“D”表示D次评价，“1”表示1次生成。本文提出了一种新的紧耦合的LLM⊗KG范式，其中KG和LLM是串联工作的，在图推理的每一步中相互补充彼此的能力。ToG 从知识图谱中提取多样化和多跳推理路径，作为语言模型推理的基础，从而增强了语言模型在知识密集型任务中的深度推理能力。使用显式的推理路径，提高了推理过程的可解释性和可校正性，能对知识进行回溯，发现错误并进行纠正。

2024-11-26 10:30:00 1105

原创【学习笔记】LightRAG: Simple and Fast Retrieval-Augmented Generation

LLM对键值对生成的分析：P(·)是利用LLM的一个分析函数，为V中的每个实体节点和E中的关系边生成一个文本键值对（K，V）。每个索引键都是一个能够有效检索的单词或短语，而相应的值是一个文本段落，总结来自外部数据的相关片段，以帮助生成文本。此层级的查询聚合了跨多个相关实体和关系的信息，提供了对更高层次概念和摘要的洞察，而非具体细节。上下文集成和答案生成：将查询与多源文本统一起来，LLM可以根据用户的需求生成信息丰富的答案，确保与查询的意图保持一致。利用检索信息：利用LLM根据检索到的数据生成答案。

2024-11-24 01:16:34 743

原创【学习笔记】From Local to Global: A Graph RAG Approach to Query-Focused Summarization

将所有这些实例级别的总结转换为每个图元素（如实体节点、关系边和声明协变量）的单个描述性文本块，需要进一步通过LLM对匹配的实例组进行总结。

2024-11-22 09:00:00 1054

原创【学习笔记】GRAG: Graph Retrieval-Augmented Generation

尤其是在不对 LLM 进行微调的情况下，通过生成检索到的文本子图的软提示（soft tokens），GRAG 显著优于微调过的 LLM，在所有指标和数据集上表现都更好。较大的模型（如 13B 参数的 llama2-13b-chat-hf）在图推理任务中的表现甚至可能不如较小的模型（如 7B 参数的 llama2-7b-chat-hf）GRAG 在一个大型数据集上训练后，能够在小型数据集上表现良好，说明 GRAG 具备一定的迁移能力，可以将学到的图编码能力应用于不同的数据集。在没有使用检索方法的情况下，

2024-11-16 00:36:21 1194

原创【学习笔记】Graph Retrieval-Augmented Generation: A Survey

GraphRAG研究综述

2024-11-07 21:44:29 652

原创【报错】IDEA 2024.2.3 java.lang.NullPointerException: Cannot read the array length because ““ is null

以管理员权限启动 IntelliJ IDEA，报错解决！

2024-09-30 23:08:21 2297 2

原创【学习笔记】图模互补:知识图谱与大模型融合综述

1. 利用知识图谱减轻大模型幻觉KELM语料库、通用模型KGPT为大模型提供基于知识图谱转化的真实文本信息2. 知识图谱提供一种解释和推理知识的手段，用于探究大模型内部复杂的工作步骤和推理过程个性化知识库与大模型集成检索框架KnowledGPT，提高了处理复杂搜索和歧义的能力。3. 知识图谱作为外部检索工具，帮助大模型解决公平、因私和安全等问题。

2024-09-18 21:21:17 887

原创【学习笔记】LoRA: Low-Rank Adaptation of Large Language Models

TitleLoRA: Low-Rank Adaptation of Large Language ModelsJournal ()AuthorsHu Edward J.,Shen Yelong,Wallis Phillip,Allen-Zhu Zeyuan,Li Yuanzhi,Wang Shean,Wang Lu,Chen WeizhuPub.date2021-10-16将大模型应用于下游任务时，通常需要进行微调，即更新预训练模型的所有参数。微调的主要缺点是新模型包含的参数与原模型一样多。存储和加载除预训

2024-03-15 20:42:35 1116 1

原创【学习笔记】博客Lilian Weng - LLM Powered Autonomous Agents

外部记忆可以缓解注意力持续时间有限的限制。标准做法是将信息的嵌入表示保存到支持快速。的矢量存储数据库中。为了优化检索速度，通常的选择是。人脑中的记忆类型：感觉记忆、短期记忆、长期记忆。(3) 工具使用(Tool use)(1) 规划(Planning)(2) 记忆(Memory)最大内积搜索(MIPS)近似最近邻(ANN)算法。

2024-03-15 20:27:49 1336 1

weixin_45838549的博客