知识图谱与自然语言生成NLG

最新推荐文章于 2024-09-25 07:39:28 发布
原创 最新推荐文章于 2024-09-25 07:39:28 发布 · 837 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文探讨了如何利用预训练语言模型进行Few-Shot NLG，并介绍了LogicNLG数据集，强调在文本生成中逻辑的重要性。此外，还提出了结构信息保留的Graph-to-Text生成方法和知识图谱增强的抽象概括，通过结合RoBERTa和GAT来改进文本生成效果，虽然未超过bart模型，但表现优于其他模型。

RDF2Text

Few-Shot NLG with Pre-Trained Language Model

Logical Natural Language Generation from Open-Domain Tables

构建了一个新的数据集 LogicNLG，它需要在标准的文本生成方法的基础上使用额外的逻辑。例如，需要使用一些比较和计数操作来纳入「1 more gold medal」或「most gold medals」等部分，这些部分会使得生成的文本更加自然和生动。

Structural Information Preserving for Graph-to-Text Generation

Knowledge Graph-Augmented Abstractive

最低0.47元/天 解锁文章
Knowledge graph extension with a pre-trained language model via unified learning method
weixin_44466434的博客
07-08 343
1
百万个混合专家模型[论文翻译]
强化学习曾小健
07-09 1219
随着隐藏层宽度的增加，标准Transformer 架构中的前馈 (FFW)层会导致计算成本和激活内存线性增加。稀疏专家混合 (MoE) 架构已成为通过将模型大小与计算成本解耦来解决此问题的可行方法。最近发现的细粒度MoE 缩放定律表明，更高的粒度可以带来更好的性能。然而，由于计算和优化方面的挑战，现有的 MoE 模型仅限于少数专家。本文介绍了PEER（参数高效专家检索），这是一种新颖的层设计，利用乘积密钥技术从大量小型专家（超过一百万）中进行稀疏检索。
论文浅尝 | 利用指针生成网络的知识图谱自然语言生成
开放知识图谱
05-14 957
论文笔记整理：谭亦鸣，东南大学博士，研究方向为知识图谱问答。 来源：Neurocomputing 382: 174-187 (2020)链接：https://www.sci...
自然语言处理之知识图谱
热门推荐
zourzh123的专栏
07-12 4万+
1. 引言    最早接触知识图谱是在一篇分析人工智能的文章，文章提出一个很有意思的观点：“在感知层面，人工智能进步很大，在更高级的认知层面，我们现在了解的仍然很少。”　我对这句话的粗浅理解是，人工智能在学习数据的内在表示（无监督学习），或者对数据的输出结果判别方面表现出了强大的能力，甚至在计算机视觉、语音识别、机器翻译等方面接近或超过人类的表现水平，但这些都还停留在对数据内容的归纳和感知层面，对...
“新KG”视点 | 王文广——图模互补：知识图谱与大模型的共生新模式
开放知识图谱
11-10 3480
OpenKG大模型专辑导读知识图谱和大型语言模型都是用来表示和处理知识的手段。大模型补足了理解语言的能力，知识图谱则丰富了表示知识的方式，两者的深度结合必将为人工智能提供更为全面、可靠、可控的知识处理方法。在这一背景下，OpenKG组织新KG视点系列文章——“大模型专辑”，不定期邀请业内专家对知识图谱与大模型的融合之道展开深入探讨。本期邀请到达观数据有限公司王文广分享“图模互补：知识图谱与大模型...
【论文泛读】Few-Shot NLG with Pre-Trained Language Model
⛄
04-01 482
摘要 问题 基于神经网络的自然语言生成（NLG）对数据量的需求特别大，因此在数据有限的情况下很难在实际应用中采用。 解决对策 在这项工作中作者提出了few-shot的自然语言生成方法： 模型体系结构的设计基于两个方面： 从输入数据中选择内容和通过语言建模来构造连贯的句子，这些句子可以从先验知识中获取。 通过200个跨多个领域的训练实例，在最强的 baseline 平均提高了8.0%以上的BLEU点。 ...
Chatbot_CN：基于金融-司法领域（兼有闲聊性质）的聊天机器人，其中的主要模块有信息抽取，NLU，NLG，知识图谱等，并利用Django整合了前端展示，目前已经封装了nlp和kg的restful接口
02-04
Chatbot_CN：基于金融-司法领域（兼有闲聊性质）的聊天机器人，其中的主要模块有信息抽取，NLU，NLG，知识图谱等，并利用Django整合了前端展示，目前已经封装了nlp和kg的restful接口
[NLG]Few-Shot Dialogue Generation Without Annotated Data: A Transfer Learning Approach
lwgkzl的博客
10-19 576
总述： 我觉得这篇论文的主要亮点就是不要标注数据。之前赵天成的zero-shot虽然很惊艳，但是迫于每一句话都需要标注dialogu action，所以应用性不强。这篇论文就是结合了赵天成之前的两篇工作，第一个zero-shot，第二个laed（用于在大规模数据中学习找到对话潜在的latent action）。然后作者就认为，在大规模无标签对话中用laed学习可以学到隐式的dialog ac...
[摘要生成]Knowledge Graph-Augmented Abstractive Summarization with Semantic-Driven Cloze Reward
SARACH_WONG的博客
01-13 930
arxiv 2020 疑惑 数据集： NYT：training, validation, and test sets 588909, 32716, and 32703 samples CNN/Daily：training, validation, and test sets 287188, 13367, and 11490 samples graph如何构建? 利用了OpenIE graph如何应用？ 两种形式：1）捕获文档级别的交互 ；2）段落内的交互和段落之间主题的转移。这两个合起来是g
【论文泛读】Logical Natural Language Generation from Open-Domain Tables
⛄
04-01 396
摘要 问题 解决对策 实验结果
【论文阅读笔记】knowledge graph
自用博客
05-30 280
摘要：摘要的序列到序列模型已经得到了广泛的研究，但生成的摘要通常含有捏造的内容，并且通常被发现是接近提取的。具体来说，在编码过程中，我们提出了两个基于图的模块，将知识图信息纳入纸张编码中，而在解码过程中，提出了一个两阶段解码器，首先以描述性句子的形式生成摘要的知识图信息，然后生成最终摘要。经验结果表明，与最先进的抽象摘要系统相比，无论是在独立训练的事实正确性评估器还是人工评估下，FASUM都能生成具有显著更高事实正确性的摘要。在本文中，我们建议通过知识的融合来提高摘要的事实正确性，即。
RAG检索增强生成三大核心问题
weixin_57384302的博客
02-06 2093
介绍RAG三大核心问题：what？when？how？
LogicNLG:ACL2020论文“从开放域表生成逻辑自然语言”的数据和代码
04-13
逻辑NLG ACL2020论文》的数据和代码，旨在研究中间步骤中通过逻辑推理生成自然语言的问题。 除了简单的表面级别复制外，LogicNLG还要求模型深刻理解表中的内容并推断表隐式表示的信息。 演示版 您可以浏览以查看LogNLG上不同模型的生成结果。 玩得开心！ 要求 pytorch 1.4.0 面对变压器2.5.1 张量板 tqdm 顶点[可选的] 培训/评估数据 文件夹中提供了用于LogicNLG的，有关详细信息，请参见 准备 解压所有表格文件 unzip all_csv.zip 下载NLI评分器 wget https://logicnlg.s3-us-west-2.amazonaws.com/NLI_models.zip unzip NLI_models.zip 下载语义解析器 wget https://logicnlg.s3-us-west-2.amazonaws.com
论文阅读：Text-to-Text Pre-Training for Data-to-Text Tasks
咕噜咕噜
05-28 1190
文章简介： 这篇文章内容很简单，作者对最近发布的 【1】T5模型应用data-to-text领域的数据进行微调，发现在WebNLG，MultiWoz，ToTTo三个数据集上都优于目前的性能；作者提出可能这种只采用预训练模型，不需要进行现在文本生成领域流行的规划生成【2】【3】，词约束和复制机制方法，同样也能取得比较好的文本生成效果； 主要内容： 预训练： 实验T5模型：Small (60 million parameters), Base (220 million), Large (770 million)
EMNLP'21中预训练模型最新研究进展
zenRRan的博客
09-30 2574
每天给你送来NLP技术干货！© 作者｜周昆机构｜中国人民大学信息学院研究方向｜序列表示学习与应用来自 |RUC AI Box导读EMNLP 2021是人工智能领域自然语言处理（ Natu...
论文Knowledge-Augmented Language Model Prompting for翻译笔记（用于零点知识图谱问题解答的知识增强语言模型提示）
weixin_56242678的博客
03-18 1648
论文Knowledge-Augmented Language Model Prompting for翻译笔记（用于零点知识图谱问题解答的知识增强语言模型提示）
论文分享|RAG理论-第一篇-概述
weixin_45783724的博客
07-14 2052
RAG理论笔记第一篇
RAG全解析：你想知道的，这里都有！
xiangxueerfei的博客
08-17 1064
什么是RAG？大型语言模型（LLMs）已经成为我们生活和工作中不可或缺的一部分，通过其惊人的通用性和智能改变了我们与信息的交互方式。尽管它们的能力令人印象深刻，但它们并非没有缺陷。这些模型会产生误导性的“幻觉”，依赖潜在过时的信息，在处理专业知识时效率低下，在专业领域缺乏深度，推理能力不足。在现实世界的应用中，数据需要不断更新以反映最新发展，生成的内容必须透明且可追溯以管理成本和保护数据隐私。因此，仅仅依靠这些“黑箱”模型是不够的；我们需要更精细的解决方案来满足这些复杂的需求。
LogicNLG 项目使用教程
最新发布
gitblog_00165的博客
09-25 882
LogicNLG 项目使用教程 1. 项目介绍 LogicNLG 是一个用于从开放域表格生成逻辑自然语言的项目。该项目的主要目标是研究在自然语言生成过程中引入逻辑推理的问题。传统的自然语言生成模型主要关注表面层次的复制，而 LogicNLG 则要求模型深入理解表格内容，并推断出表格中隐含的信息。 该项目在 ACL2020 会议上发表，提供了数据和代码，旨在帮助研究人员和开发者理解和应用逻辑自然语言...
精选自然语言生成（NLG）开源资源合集
“awesome-nlg”作为一个精选的自然语言生成资源列表项目，汇集了大量高质量、开源、前沿的研究成果与工具资源，为研究人员、开发者以及技术爱好者提供了系统性学习与实践的重要参考。 该项目标题“awesome-nlg：...
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值