- 博客(50)
- 收藏
- 关注
RSS订阅
原创 最全知识库(持续更新)
在卷积神经网络中，参数的选择依赖于输入数据的特性、模型的目标以及实验结果。初学者通常会使用一些经验法则，但最终还是需要通过实验找到最优配置。
2024-10-02 22:47:02
273
原创 SEER: Self-Aligned Evidence Extraction for Retrieval-AugmentedGeneration
如何从检索到的段落中提取证据，以降低计算成本并提升最终的RAG性能，然而这一问题仍然具有挑战性。现有方法 严重依赖于基于启发式的增强，面临以下几个问题：（1）由于手工制作的上下文过滤，导致泛化能力差；（2）由于基于规则的上下文分块，导致语义不足；（3）由于句子级别的过滤学习，导致长度偏差。不完美的检索器，会检索到无关的段落，误导LLM。
2025-04-12 20:35:57
1022
原创 RECOMP: IMPROVING RETRIEVAL-AUGMENTED LMSWITH COMPRESSION AND SELECTIVE AUGMENTATION
在将文本输入到LLM中之前将检索到的文本压缩成摘要。设计两种压缩器：1.抽取式压缩器：从检索到的文档中挑选有用的句子2.生成式压缩器：综合多个文档的信息，生成摘要若检索到的文档与输入无关，则返回空字符串。
2025-04-12 17:07:24
772
原创 BlendFilter: Advancing Retrieval-Augmented Large Language Modelsvia Query Generation Blending and K
检索增强LLM在处理复杂输入常常面临挑战，并且由于知识检索的噪声问题而导致效果不好，从而影响模型的整体性能。普通的检索当检索的查询简单明了时，能有效的识别相关的信息，但是对于结构复杂、多层次的问题，很难检索到真正线管的文档。由检索器获取的内容可能包含无关或误导性信息（arXiv:2402.11129v3 [cs.CL] 2024年10月15日）。通常，检索器返回的前K条文档会被用作增强材料，但无法保证这些Top-K文档都与任务高度相关并具有帮助性。
2025-04-09 17:40:16
792
原创 INSTRUCTRAG: INSTRUCTING RETRIEVAL AUG-MENTED GENERATION VIA SELF-SYNTHESIZED RA-TIONALES
不完美的检索器，会误导LLM，目前传统的RAG方法通过直接预测答案来应对这个问题，这种隐式去噪，难以解释和验证，显示去噪监督成本高。
2025-04-09 14:21:33
281
原创 CHAIN-OF-KNOWLEDGE: GROUNDING LARGE LAN-GUAGE MODELS VIA DYNAMIC KNOWLEDGE ADAPT-ING OVER HETEROGE
LLM无法回答时效性问题。现有的检索增强方法缺乏渐进式纠错能力，可能导致错误的传播。
2025-04-09 11:02:40
255
原创 Corrective Retrieval Augmented Generation
首先：给定的查询和来自任意检索器的检索文档然后：构建一个检索评估器，用于评估检索文档与输入查询的相关性评分，相关性评分分为三个置信度等级，正确、错误、模糊正确：检索到的文档将被精炼为更精确的知识条带。这一精炼操作包括知识分解、过滤和重组错误：检索到的文档将被丢弃。相应地，系统会转向网页搜索，并将其视为补充的知识来源，用于纠正错误模糊：结合前两者的优点。
2025-04-08 20:31:14
645
原创 LiT and Lean: Distilling Listwise Rerankers intoEncoder-Decoder Models
文章：ECIR 2025会议。
2025-04-07 20:04:26
370
原创 InRanker: Distilled Rankers for Zero-shot Information Retrieval
文章：ACM Conference (Conference’17)
2025-04-07 18:20:57
225
原创 ListT5: Listwise Reranking with Fusion-in-DecoderImproves Zero-shot Retrieval
文章：ACL 2024。
2025-04-07 15:49:10
531
原创 UR2N: Unified Retriever and ReraNker
目前的检索都是使用混合检索：第一阶段使用，稀疏检索，然后第二阶段使用神经网络对检索到的前k个文档进行重新排序，使用分开的检索器和重新排序器需要维护两个独立的模型。而且，由于它是一个管道流程，系统的各个组件彼此之间没有互相学习，因此在错误传播方面会产生连锁反应。如果第一阶段的检索器没有检索到相关文档，重新排序器就无法从中恢复。
2025-04-07 10:21:47
391
原创 ASRank: Zero-Shot Re-Ranking with Answer Scent for DocumentRetrieval
传统的检索方法不能将最相关的文档放在前面。
2025-04-06 18:39:34
426
原创 DSLR: Document Refinement with Sentence-Level Re-ranking andReconstruction to Enhance Retrieval-Aug
当前RAG系统仍然面临着检索失败和LLM过滤不相关信息能力有限的挑战，检索到不相关的信息的时候，LLM往往很难有效的过滤掉这些不相关的细节，并专注与最相关的查询知识，导致RAG失效。重排序或者提炼为新的文档可以当作解决方案，但是这些需要额外的模型计算排序和提炼。另一种解决方案就是将检索粒度从段落级降低到句子级，但是这也可能删除重要的上下文信息。为了解决这些问题，提出下面的方法：既能有效的过滤无关的信息，又能保留必要的上下文细节。之前的句子级的重排序，会丢失上下文的语义连贯性。
2025-04-01 20:33:01
862
原创 INSTRUCTRAG: INSTRUCTING RETRIEVAL AUG-MENTED GENERATION VIA SELF-SYNTHESIZED RA-TIONALES
解决两个问题：1.现有的RAG是通过把检索到的结果和查询直接放到llm中进行生成结果，具有不可解释性和预测性。传统 RAG 方法不专门处理噪音，而是通过让模型在带噪音的数据上进行训练，使其具备在噪音中生成正确答案的能力。2.在训练模型的时候，提供明确、准确的标注数据是很困难的。3.缺乏完美的检索解决方案，检索到的内柔通常由不相关的、噪声。4.语料库中存在噪声数据。
2025-03-25 12:10:23
849
原创 SFT微调
微调可以强化预训练模型在特定任务上的表现，例如情感分类，尽管预训练模型已有一定能力，但微调可进一步优化其效果。：微调可以让模型学习特定领域的新知识，如自我认知类问题（如“你是谁？”“你是谁创造的？”），确保其回答符合预期。：微调可降低模型生成虚假或不相关信息的概率，提高回答的可靠性。：尽管每次生成的内容不同，微调可确保输出质量稳定，避免结果参差不齐。：微调可使模型在敏感问题上适当拒答，增强安全性和合规性。：通过优化和使用较小参数模型，减少响应时间，提高运行效率。
2025-03-12 10:35:30
1043
原创 评估指标111
是指在实验或评估中用于比较的基准方法或模型。它们通常是已有的、相对简单或广泛认可的模型，用来衡量新方法或模型的改进程度。HotpotQA数据集：一个数据集，需要模型结合多个文档的信息来回答问题。2WikiMultiHopQA数据集：一个多跳问答数据集，来源于 Wikipedia，问题的答案需要结合的信息。MuSiQue数据集：问题的答案需要结合的信息（不仅仅是两个文档），以增强推理的难度。ARC-Challenger(McQ多项选择)：是一个，测试模型的常识推理和科学知识。
2025-03-08 10:56:01
741
原创 dataset的用法
datasets是 Hugging Face 提供的一个用于的 Python 库，特别适用于自然语言处理（NLP）任务，但也可用于计算机视觉和其他机器学习任务。
2025-03-06 18:08:18
359
原创 A Hybrid Approach to Information Retrieval and Answer Generation forRegulatory Texts
传统的IR系统是基于词频的统计方法来查找相关的内容，但是对于法规文本这样的领域，语义更重要，通过语义检索来解决这个问题，但是现有的预训练模型都是针对通用数据集训练的，对特定领域的检索并不好，但是可以通过微调模型解决。
2025-03-02 17:42:00
588
原创 HopRAG: Multi-Hop Reasoning for Logic-AwareRetrieval-Augmented Generation
由于缺乏逻辑感知机制，不完美的检索问题依然显著存在。这两种情况最终都会导致不准确或不完整的LLM响应。超过60%的检索段落是间接相关或不相关的。
2025-03-02 16:21:34
794
原创 Leveraging Pragmatics in Retrieval-Augmented Generation
RAG往往会用过多的信息压倒LLM，而其中只有一部分可能与当前任务相关。
2025-03-01 10:39:49
945
原创 LIGHTRAG: SIMPLE AND FASTRETRIEVAL-AUGMENTED GENERATION
分块处理在促进检索增强生成过程中起着至关重要的作用(Lyu et al.， 2024)，分块可以显著提高信息检索的准确性。但是RAG系统还有其他的问题限制他们的能力：1.很多方法是用二维向量表示数据的，这就限制了理解和检索基于实体之间复杂关系的信息的能力。2.这些系统通常缺乏上下文的意思，不能保持不同实体及其相互关系之间的一致性，导致无法完全解决用户的查询。
2025-02-27 11:34:50
714
原创 纠错检索增广生成论文
给定输入查询和从任意检索器检索到的文档，构建一个轻量级检索评估器来估计检索文档与输入查询的相关性得分（第 4.2 节）。相关性得分被量化为三种置信度，并触发相应的操作：{正确、错误、模糊}（第 4.3 节）。如果触发“正确”操作，检索到的文档将被细化为更精确的知识片段。这一细化操作包括知识分解、过滤和重组（第 4.4 节）。如果触发“错误”操作，检索到的文档将被丢弃，转而依赖网络搜索作为补充知识源进行校正（第 4.5 节）。
2025-02-22 23:09:59
768
原创 自然语言处理中的检索增强生成研究综述
1.检索增强生成（RAG）的三个模块：1.检索器（retriever）用于将输入编码为嵌入（embeddings）的编码器（encoder）支持近似最近邻搜索的高效索引（efficient indexing）以及以键值对（key-value pairs）形式存储外部知识的数据存储（datastore）如何在检索效率和检索质量之间找到最佳平衡检索效率指的是获取相关信息的速度，这涉及编码加速、高效索引、数据存储中的批量查询等。检索质量。
2025-02-22 09:53:55
1166
原创 Langchain-Chatchat项目搭建
之后，我们访问127.0.0.1:9997/ui接着，我们开始注册模型，点击注册后，会弹出一个页面，你来选择，模型的引擎，然后点击run即可，装载模型。装载嵌入模型，类似。
2025-01-20 21:45:07
969
原创 Hugging Face 的 transformers 库使用（持续完善）
你可以微调一个预训练模型，通常用于下游任务，如文本分类、命名实体识别等。模型通常会接受输入 tokens，并输出预测结果。你可以通过以下方法进行推理。，你可以将输入文本转换为模型需要的 tokens 格式（整数序列）。（如果使用的是基于 PyTorch 的模型）。标记化是将文本转化为模型可以理解的格式。对于生成模型（如 GPT、T5），你可以使用。类来自动加载适当的预训练模型和标记化器。保存和加载微调过的模型，方便后续使用。提供了一个统一的接口来加载这些模型。来自动选择适合的模型和标记化器。
2024-12-27 09:29:47
868
原创 python开发中的小工具(持续更新)
在 Linux 上运行 Python 程序时，可以使用断点进行调试。Python 提供了内建的调试工具pdb，通过它可以在代码中设置断点并进行逐步调试。以下是如何在 Linux 系统中使用 Python 和pdb。
2024-12-27 01:23:44
449
原创 Large Language Model based Multi-Agents: A Survey of Progress and Challenges
LLM-MA系统的剖析部分深入探讨了系统的四个关键方面：接口、智能体配置、通信和能力获取。这些方面共同定义了LLM-MA系统如何与环境互动、如何配置智能体以满足特定目标、如何通过通信实现协作或竞争，以及如何通过学习和适应来增强智能体的能力。智能体-环境接口：智能体通过沙盒、物理或无环境的接口与任务环境互动，这决定了智能体的行为和决策方式。智能体配置：智能体根据预定义、模型生成或数据驱动的方法配置，以适应不同的角色和技能。智能体通信。
2024-12-26 01:02:02
1334
原创 ssh的隧道连接（端口映射）
ssh -L 本地端口:localhost:服务器端口 -p 22 用户名@服务器ip。: 表示使用 SSH 协议的 22 端口，这是默认的 SSH 端口。: 指定远程服务器的用户名和 IP 地址。它的含义是将本地计算机的。用于将本地计算机的端口与远程服务器上的端口进行映射。: 远程服务器的端口号。端口通过 SSH 隧道转发到远程服务器的。端口通过 SSH 隧道转发到远程服务器的。: 表示使用 SSH 协议连接远程服务器。: 远程服务器上的主机名，通常使用。，表示连接到远程服务器本机的端口。
2024-11-29 19:27:05
626
原创 AGENT AI 综述核心速览
该问题的研究难点包括：如何有效地整合多模态数据以进行复杂的决策和任务规划；如何在未见过的环境中进行有效的泛化；以及如何减少大型基础模型的幻觉和偏见。图片流程的概括：视觉和语言输入首先被转换成相应的标记（tokens），然后这些标记被送入LLM\LVM Transformer进行处理，Transformer层通过其注意力机制来理解和整合这些多模态信息，最后产生输出的标记，这些输出标记被LLM/LVM Agent用来执行具体的任务或做出决策。
2024-11-21 22:03:14
1211
原创 AGENT AI:SURVEYING THE HORIZONS OF MULTIMODAL INTERACTION
明确“Agent AI”这一概念，将其定义为一类能够感知视觉刺激、语言输入和其他环境基础数据，并能产生有意义的具身行动的交互系统。
2024-11-21 22:03:00
975
原创 论文精读（笔记）
读完摘要直接跳到结论。：这样是为了了解这篇论文的标题是什么，和你的文章是不是相关，然后看一眼摘要，摘要就是比较简单的介绍一下这个论文，在做什么。最后直接跳到结论，结论通常和摘要是一样的，但是把摘要里面可能提出的一两个问题，用一些实际的结论，实际的数字证明一下。读完这三个部分，大概就知道这篇论文在干什么。然后你可以跳到一些实验部分的一些关键的图和表，然后你也可以去瞄一眼，在方法里面这些图和表是在干什么的。完成这个部分，就可以大概知道，这个论文在讲什么，质量怎么样就是结果怎么样，方法看上去怎么样，
2024-11-14 13:35:51
366
原创 深度学习的核心思想
刚开始随便给一个东西然后利用这个东西求一个我们想要的结果，用这个结果和真实的结果求损失，在反向求导更新我们随便给的东西，不断的多次下来，这个随便给的东西，就会逼近我们想要的东西。简单说就是：深度学习就是刚开始随便给一个东西，然后通过，不断的损失求导最后能得到我们想要的结果。
2024-11-12 10:07:11
714
原创 单元问题研究中心
注意力机制我认为就是说，我想要一个特定的特征（我们当作query，也就是相当于我们要查询的东西），在所有我们可供选择的特征里面进行与我们想要的特征（query进行匹配）寻找相关的，最后返回结果。根据你的 Query（问题）和每本书的 Key（标签），系统会为每本书打分，表示这本书有多相关。最后，你会重点阅读那些评分更高（更相关）的书（Value）。
2024-11-07 22:43:46
146
原创 CNN理解
首先，CNN就是卷积神经网络，它擅长为图像进行分类。CNN专门用来处理图像数据的深度学习模型。它通过模仿人类的视觉进行对图像的特征提取。
2024-10-20 11:59:52
803
原创 计算机视觉
1.单次检测：SSD算法就像你用一台相机一次性拍下整张照片，而不是先拍一部分，再拍另一部分。这意味着你不需要分步骤来找到每个人，而是一次性就能检测到照片中所有的人。2.多尺度特征图：这就像是你用相机的不同焦距来拍摄照片。低焦距（广角镜头）让你看到整个场景，适合捕捉远处的大物体；高焦距（长焦镜头）让你看到细节，适合捕捉近处的小物体。SSD算法通过在不同尺度的特征图上检测目标，来适应不同大小的物体。3.锚框：这就像是你在拍摄前，已经在相机的取景器上标记了几个不同大小的框框。
2024-10-19 15:06:05
637
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人