- 博客(6)
- 收藏
- 关注
RSS订阅原创 颠覆传统 KBQA 范式：ChatKBQA 的生成 - 再检索创新之路
ChatKBQA框架创新性地采用"生成-再检索"范式重构知识库问答流程，通过微调开源大语言模型直接生成逻辑形式骨架，再结合无监督检索补全实体关系，在WebQSP和CWQ数据集上取得SOTA性能。相比传统方法，该框架解决了检索效率低、错误传播和流程复杂三大痛点，支持插件化部署并具备可解释性。尽管在复杂逻辑生成、检索鲁棒性和知识库适配性方面仍存在局限，但其创新思路为知识密集型问答提供了新范式，代码已开源供进一步研究和应用。
2025-12-18 12:29:49
689
原创 突破 LLM 在稠密检索的瓶颈：Llama2Vec 的无监督适配方案解析
本文提出Llama2Vec模型，通过创新的无监督适配策略解决大型语言模型(LLM)在稠密检索任务中的语义适配问题。该方法设计了两个预训练任务(EBAE和EBAR)，分别使嵌入具备归纳和演绎能力，从而同时满足相关性匹配和释义匹配需求。实验表明，该方案在保持计算效率的同时，显著提升了检索性能，为LLM在信息检索领域的应用提供了新思路。
2025-12-03 16:42:35
1028
原创 打破 LLM 推理瓶颈：GNN-RAG 如何重构知识图谱问答的检索与生成范式
《GNN-RAG：图神经网络与大语言模型的协同问答框架》摘要 GNN-RAG提出了一种创新性解决方案，通过结合图神经网络(GNN)的结构化推理能力与大语言模型(LLM)的自然语言处理优势，有效解决了知识图谱问答(KGQA)中的核心挑战。该方法采用四阶段流程：GNN精准检索候选答案并提取推理路径，检索增强技术弥补模型短板，最终由LLM基于路径生成自然语言回答。实验表明，该方法在多跳推理上的覆盖率比纯LLM方法提高6.4%，同时显著提升回答效率。GNN-RAG的协同设计理念为知识密集型任务提供了新范式，展现了异
2025-11-26 19:53:18
859
原创 语言模型的 “弹性“：为什么对齐如此脆弱？
北京大学团队在ACL2025的研究揭示了大型语言模型(LLM)的"弹性"特性，表明模型天然抵抗对齐调整。该研究将LLM训练与对齐过程建模为数据压缩，发现由于预训练数据远多于对齐数据，模型会优先维持原始分布。实验证实：对齐越深的模型在逆微调时反弹越快，且模型规模越大弹性越强。这一发现解释了现有对齐技术的局限性，指出仅靠微调难以实现深层次安全对齐，为未来开发稳健对齐方法提供了新视角。研究建议通过平衡数据规模、约束优化设计等方式克服弹性问题，以实现更可靠的AI安全机制。
2025-11-19 19:53:12
662
原创 突破甲骨文破译瓶颈：条件扩散模型 OBSD 的技术创新与实践
摘要：华中科技大学团队在ACL 2024发表的论文提出甲骨文破译新工具OBSD，基于条件扩散模型实现图像到图像的生成破译。针对甲骨文图像特性，系统创新性地采用局部结构采样技术聚焦部首特征，并通过零样本优化解决多对一训练导致的结构变形问题。实验显示该方法在Top-1准确率(41.0%)和多轮解密成功率(80.0%)上显著优于传统方法，突破语料缺失、结构差异等瓶颈，为未破译甲骨文提供新研究路径，最终结果仍需甲骨学专家验证。
2025-11-12 19:11:06
1083
原创 BRD 技术 —— 让小模型也能拥有大模型的 “阅读能力”
摘要：基础阅读蒸馏(BRD)技术突破传统模型压缩方法的局限，通过让小模型(如564M参量)学习大模型的基础阅读行为(命名实体识别和问答生成)，而非直接针对任务训练，实现了跨任务通用能力。实验显示，经BRD训练的小模型在多项NLP任务上超越20倍参量的大模型，零样本测试中情感分析任务提升15.3%，复杂推理任务提升83.25%。这种"能力先行"的蒸馏思路，为轻量化模型部署提供了新方向，但目前在多语言适配和时间推理等方面仍存在局限。该技术显著降低了移动端NLP应用的门槛，一次训练即可支持多任
2025-11-06 18:10:16
1069
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人