- 博客(21)
- 收藏
- 关注
RSS订阅原创 【LoRA轻量化和Prompt工程】知识点详解
LoRA是一种高效的大模型微调技术，通过添加低秩矩阵作为"小插件"来学习任务特定信息，仅需调整少量参数(0.01%-1%)，显著降低计算成本且保持性能稳定。同时，Prompt工程是优化大模型输出的关键技术，通过精准设计包含任务说明、上下文和示例的文本指令，结合思维链提示、少样本学习和角色扮演等技巧，可显著提升模型任务表现。这两种技术分别从模型参数优化和输入指令设计角度，为大语言模型的高效应用提供了实用解决方案。
2025-06-19 11:06:14
689
原创 【论文精读(MILP-StuDio)】MILP-StuDio: MILP Instance Generation via Block Structure Decomposition
该论文发表在 **NeurIPS 2024**，混合整数线性规划（MILP）在工业调度、芯片设计等领域至关重要，但其求解器性能提升依赖大量高质量数据。现有生成方法忽视约束系数矩阵（CCM）的**块结构特性**，导致生成实例存在计算 trivial 或不可行等问题。本文提出**MILP-StuDio**，首次通过块结构分解与操作生成高保真MILP实例，在保留问题数学属性的同时支持灵活尺寸扩展。实验表明，该框架生成的实例可使学习型求解器求解时间减少超10%，为MILP数据生成提供了全新范式。
2025-04-24 11:36:40
1330
原创 【论文精读(TDAG)】TDAG: AMulti-Agent Framework based on Dynamic Task Decomposition and Agent Generation
该论文发表在Neural Networks（CCF B类）针对LLM智能体在复杂现实任务中因错误传播和适应性不足导致的执行难题，论文提出了基于动态任务分解和智能体生成的TDAG框架，通过将任务分解为子任务并为每个子任务动态生成专用子智能体，显著提升了智能体在多样化场景中的适应性。同时，现有基准缺乏对复杂任务增量进展的细粒度评估，论文推出了ItineraryBench，以旅行规划为场景，设计了多层次任务和细粒度评分体系。代码和数据已开源，相关链接Github代码论文DOI。
2025-04-23 18:03:31
1378
原创 【论文精读(LiteSearch)】LiteSearch: Efficient Tree Search with Dynamic Exploration Budget for Math Reasoni
该论文发表在AAAI 2025（CCF A类）， 针对大语言模型（LLM）在复杂数学推理任务中因自回归解码导致的“系统1”快速但易错问题，论文提出了一种高效的树搜索算法LiteSearch，通过动态节点选择和节点级探索预算计算，增强LLM的“系统2”推理能力。核心创新在于结合价值网络指导和搜索历史，迭代选择最优节点并动态分配计算资源，在GSM8K和TabMWP数据集上实现了性能与成本的良好平衡。论文代码已开源，相关链接Github代码论文DOI。
2025-04-23 17:55:03
817
原创 【论文精读(Graphusion)】Graphusion: A RAG Framework for Knowledge Graph Construction with a Global Perspec
知识图谱（KG）是人工智能领域的核心基础设施，尤其在科学问答、教育等场景中至关重要。然而，传统构建方法依赖局部视角提取三元组，导致知识碎片化和冲突消解不足。本文提出。
2025-04-22 10:41:46
984
原创 【论文精读(GraphRAG)】Retrieval-Augmented Generation with Graphs (GraphRAG)
GraphRAG 首次系统性整合图结构与检索增强生成，通过 “图构建 - 检索 - 组织 - 生成” 全流程创新，解决传统 RAG 在结构化数据中的语义与结构割裂问题。其在多模态检索、复杂推理等场景的显著提升，为知识图谱、科学发现等领域提供了高效解决方案。未来与无监督学习、实时计算的结合，将进一步推动 GraphRAG 在动态复杂系统中的应用，如实时金融风控、生物医药发现等。
2025-04-22 10:29:20
1949
原创 【论文精读(AutoAlign)】Fully Automatic and Effective Knowledge Graph Alignment enabled by Large Language M
该论文发表在，知识图谱（KG）的碎片化现状导致跨图谱实体对齐需依赖人工标注的种子对齐，成本高且扩展性差。本文提出AutoAlign，首个无需人工种子对齐的全自动知识图谱对齐框架。通过大语言模型构建谓词邻近图（Predicate-Proximity-Graph）自动捕捉跨图谱谓词语义关联，并利用属性字符嵌入实现实体向量空间统一。在真实数据集上，AutoAlign较传统方法准确率提升超10%，为知识图谱融合提供了低成本、高鲁棒的解决方案。相关链接GitHub论文DOI。
2025-04-21 13:21:03
1172
原创 【论文精读(KG-FiD)】KG-FiD: Infusing Knowledge Graph in Fusion-in-Decoder for Open-Domain Question Answeri
针对开放域问答（ODQA）中传统模型跨段落关系建模不足和计算效率低下的问题，本文提出KG-FiD框架，通过知识图谱（KG）构建检索段落间的结构关联，并利用图神经网络（GNN）实现段落重排序与剪枝。在 Natural Questions 和 TriviaQA 数据集上，KG-FiD 以40% 的计算成本实现了与 FiD 相当或更优的性能，为高效可信的开放域问答提供了新路径。
2025-04-21 09:51:36
2131
原创 【论文精读(RAKG)】RAKG:Document-level Retrieval Augmented Knowledge Graph Construction
针对传统知识图谱构建（KGC）在长文本处理中面临的实体消歧复杂、跨文档关系捕捉不足和LLM 幻觉问题，本文提出RAKG（文档级检索增强知识图谱构建框架）。通过引入预实体（Pre-Entity）概念与 RAG 技术，RAKG 实现了从文档到知识图谱的端到端构建，在 MINE 数据集上准确率达 95.91%，超越 GraphRAG 等基线方法 6.2% 以上。开源代码已发布至 GitHub，为文档级知识图谱构建提供了新范式。
2025-04-20 13:26:24
1421
原创 【论文精读(G-Retriever)】G-Retriever: Retrieval-Augmented Generation for Textual Graph Understanding and
写在前面本文提出框架，首次将检索增强生成（RAG）与文本图（Textual Graph）结合，解决大语言模型（LLM）在图结构数据中推理时的幻觉问题和长上下文效率瓶颈。通过构建GraphQA基准数据集，验证了G-Retriever在多领域图问答任务中的有效性，为LLM与图数据的交互提供了新范式。论文DOI代码与数据集交互式Demo现在的问题图结构数据理解不足传统LLM缺乏对图中实体关系结构化建模。
2025-04-20 12:42:50
944
原创 【论文精读(KG²RAG)】南京大学&阿里巴巴：Knowledge Graph-Guided Retrieval Augmented Generation (KG²RAG)
大语言模型（LLM）在生成任务中常因知识缺失或过时产生幻觉，传统检索增强生成（RAG）虽能补充知识，但仅依赖语义相似性导致检索结果冗余且缺乏关联。本文提出 KG²RAG（Knowledge Graph-Guided Retrieval Augmented Generation）框架，通过知识图谱（KG）显式建模文本块间的事实级关系，提升检索结果的多样性与连贯性。实验表明，KG²RAG 在 HotpotQA 等数据集上显著优于传统 RAG 方法，为可信 AI 推理提供了新路径。
2025-04-19 13:31:32
3234
原创 【论文精读(GraphRAG 综述)】Graph Retrieval-Augmented Generation: A Survey
该论文系统综述了 GraphRAG（图检索增强生成）技术，探讨其如何通过知识图谱（KG）结构信息提升大语言模型（LLM）的推理准确性与可解释性。文章涵盖 GraphRAG 的工作流程、核心技术、应用场景及未来挑战，适合从事 LLM 与知识图谱融合研究的读者参考。
2025-04-19 13:11:33
1184
原创 【论文精读(LegalBench-RAG)】LegalBench-RAG：A Benchmark for Retrieval-Augmented Generation in the Legal Do
实验结果表明，需要更专业、更具挑战性的法律基准来有效评估检索系统。Cohere重排器在复杂数据集上的不佳表现，凸显了开发针对法律文本的重排模型的必要性。未来研究可探索微调现有模型或开发新模型，融入更多法律特定特征或在更大、更多样化的法律语料库上训练。如何进一步优化法律RAG系统的检索和生成能力，提升其在复杂法律场景中的准确性和可靠性，仍是未来研究的重要方向。
2025-04-18 10:52:35
1413
原创 【论文精读(HybridRAG)】Empowering LLMs by hybrid retrieval-augmented generation for domain-centric Q&A in
尽管KG - 向量RAG在实验中表现良好，但仍有改进空间。在实际应用中，要根据不同领域调整知识收集和准备过程。未来研究可聚焦于优化KG更新策略，实现自动化更新，及时融入新的领域知识；同时进一步探索动态更新外部知识源的方法，提升系统在快速变化环境中的适应性和可靠性。如何更好地结合多种技术，提升问答系统在不同复杂场景下的性能，仍是值得深入研究的方向。
2025-04-18 10:43:29
786
原创 【论文精读(Transformer)】Attention Is All You Need 无需多言！！！
Transformer模型是首个完全基于注意力的序列转导模型，在翻译任务中训练速度远超基于循环或卷积层的架构，在多个任务上取得了新的最优成果。未来，研究方向可扩展到涉及文本以外输入和输出模态的问题，探索局部、受限的注意力机制以处理图像、音频和视频等大输入和输出，以及减少生成过程的顺序性。
2025-04-17 11:12:07
1150
原创 【论文精读(HybridRAG)】Hybrid Retrieval-Augmented Generation for Real-time Composition Assistance
HybridRAG为实时写作辅助提供了有效解决方案，但仍存在一些限制。客户端模型性能高度依赖内存，内存过时或不准确会导致模型性能下降，客户端模型还可能组合内存信息产生错误内容。未来可通过改进内存生成器、增强客户端模型推理能力等方式解决这些问题。此外，HybridRAG在数据传输过程中存在隐私和保密风险，需实施加密和访问控制等安全措施。
2025-04-17 08:11:22
953
原创 【论文精读(客服问答)】Retrieval-Augmented Generation with Knowledge Graphs for Customer Service Question Answe
研究成果显著推进了客服自动问答系统的发展，但仍有改进空间。未来可致力于开发自动提取图模板的机制，增强系统适应性；研究基于用户查询的知识图谱动态更新，提高实时响应能力；探索该系统在客服领域之外的应用。
2025-04-16 10:56:19
521
原创 【论文精读(HybridRAG)】HybridRAG: Integrating Knowledge Graphs and Vector Retrieval Augmented Generation f
HybridRAG在金融文档信息提取方面取得显著成果，但仍有改进空间。未来可拓展系统处理多模态输入，融入数值数据分析能力，开发更精细的评估指标以适应金融语言特点，探索与实时金融数据流集成，提升在动态金融环境中的实用性。这将推动金融分析工具发展，助力更智能的金融决策。
2025-04-15 15:13:35
872
原创 【论文精读(HYBGRAG)】HYBGRAG: Hybrid Retrieval-Augmented Generation on Textual and Relational Knowledge Ba
HYBGRAG在解决混合问答问题方面取得了显著成果，但未来仍有进一步的研究方向。一方面，可以探索更高效的信息检索和融合策略，进一步提升模型性能；另一方面，如何更好地利用大规模无监督数据，增强模型的泛化能力，也是值得深入研究的问题。此外，将HYBGRAG应用于更多实际场景，如智能客服、智能推荐等领域，将为这些领域带来新的发展机遇。
2025-04-14 20:02:13
800
原创 【论文精读(GELUS)】GAUSSIAN ERROR LINEAR UNITS (GELUS)
尽管GELU在多个实验中表现优异，但它与传统激活函数也存在一些联系。当σ→0σ→0且μ0\mu = 0μ0时，GELU会趋近于ReLU，从这个角度看，GELU可以被视为一种平滑的ReLU。在实际应用中，使用GELU时建议搭配带动量的优化器，这是训练深度神经网络的标准做法。同时，选择合适的高斯分布累积分布函数近似公式很关键，实验发现使用0.5x1tanh2πx0.044715x30.5x1tanh2/πx0.044715x3)])
2025-04-14 08:52:30
796
原创 【论文精读(GELUS)】GAUSSIAN ERROR LINEAR UNITS (GELUS)
未来，激活函数的研究方向可能会朝着更加智能化、自适应的方向发展，如何进一步结合随机正则化和激活函数设计，开发出更高效、泛化能力更强的激活函数，仍是值得探索的问题。然而，这些激活函数仍存在不足，网络设计师还需额外添加随机正则化方法，如在隐藏层添加噪声或使用dropout，且随机正则化与激活函数的设计相互独立，二者未能有效融合，限制了神经网络性能进一步提升。ELU在ReLU基础上，通过引入负半轴的非零输出，使神经元在负输入时有更合理的响应，一定程度上加快了训练速度，但在复杂函数逼近能力等方面仍有提升空间。
2025-04-14 00:03:37
2727
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人