- 博客(42)
- 收藏
- 关注
RSS订阅原创 一文带你了解知识图谱融入预训练模型哪家强？九大模型集中放送
近年来，随着语言模型的技术发展，其在NLP领域获得巨大的成功，业界SOTA的前沿模型也大多是Transformer结构模型的变体。
2022-03-15 19:00:00
1810
1
原创 NLP论文解读：无需模板且高效的语言微调模型（下）
这篇论文提出的PERFECT模型及方法，对于预训练语言模型的小样本学习是简单且高效的，该方法并不需要手工的模板和词汇标签映射。
2022-03-14 19:00:00
904
原创 NLP论文解读：无需模板且高效的语言微调模型（上）
在12个NLP任务中，这种微调方法（PERFECT）在简单高效的同时，取得了与SOTA方法（如PET提示学习模型）相近甚至更高的结果。
2022-03-11 19:00:00
673
原创 基于BERT Adapter的词汇增强型中文序列标注模型
本文作者提出Lexicon Enhanced BERT (LEBERT) ，该模型在BERT底部的层中加入一个Lexicon Adapter层来融合文本的词汇特征。
2022-03-10 19:00:00
747
原创 CoLAKE: 如何实现非结构性语言和结构性知识表征的同步训练
为了解决非结构化文本与知识之间的异构性冲突，CoLAKE将两者以一种统一的数据结果将两者整合起来，形成word-knowledge graph，将其作为预训练数据在改造后的Transformer encoder模型上进行预训练。
2022-03-09 19:00:00
449
原创 GPT-3被超越？解读低能耗、高性能的GlaM模型
在这篇论文中，作者开发了以Mixture of Experts为基础的GlaM (Generalist Language Model)。它虽然参数量有GPT-3的7倍之多，但训练起来只需GPT-3三分之一的能耗，而且在NLP任务的表现上相比GPT-3持平甚至更优。
2022-03-08 19:00:00
664
原创 FaE：基于符号知识的适应性和可解释的神经记忆
本文作者开发了一种神经语言模型Facts-as-Experts (FaE)，其在神经网络语言模型和符号知识库（symbolic KB）之间建立了一个桥梁，将深度神经网络的表达能力优势和符号知识库的推理能力优势进行了有机结合。
2022-03-07 19:05:17
1031
原创 生成式预训练语言模型能否视作闭卷问答的知识库？
本文探讨的就是是否可以用PLM作为KB来完成闭卷问答（Closed-book QA）任务。该任务是一项极具挑战性的任务，它需要一个模型能直接回答问题，而无需访问外部知识。
2022-03-06 19:00:00
436
原创 抛弃模板，一种Prompt Learning用于命名实体识别任务的新范式
Prompt Learning通过设计一组合适的prompt将下游任务的输入输出形式重构成预训练任务中的形式，充分利用预训练阶段学习的信息，减少训练模型对大规模标注数据集的需求。
2022-03-05 19:00:00
604
原创 知识增广的预训练语言模型K-BERT：将知识图谱作为训练语料
本文所解读的K-BERT模型正是通过将知识图谱中的三元组转换为文本序列实现了结构的统一，在此基础上使用预训练语言模型编码文本和知识。
2022-03-04 19:00:00
762
原创 一文打尽知识图谱
知识是人类在实践中认识客观世界的结晶。知识图谱（Knowledge Graph, KG）是知识工程的重要分支之一，它以符号形式结构化地描述了物理世界中的概念及其相互关系。
2022-03-01 19:00:00
1691
原创 一种图神经网络时序模型在工业化场景上的实践探索
传统的图模型通常执行两个串行操作：首先是图查询，然后是模型推理，由于查询 k-hop 邻居的时间复杂度比较大，很多图算法在时序神经网络模型中无法执行快速推理，因此，极大地限制了图算法的工业化推广。
2022-02-09 18:03:14
1127
1
原创 RealFormer: 残差式 Attention 层的Transformer 模型
本文作者提出 RealFormer 模型（Residual Attention Layer Transformer），如下图Figure 1(c)所示，将残差结构运用到attention层，使得模型对训练超参更具鲁棒性的同时，保证模型性能的提升。
2022-02-08 12:03:41
892
原创 Transformer可解释性：注意力机制注意到了什么？
随着transformer模型的提出与不断发展，NLP领域迎来了近乎大一统的时代，绝大多数预训练方法例如BERT等都将transformer结构作为模型的框架基础，在NLP许多领域的SOTA框架中也常常能看到它的身影。
2022-02-07 12:18:31
2764
原创 X-former:不止一面，你想要的Transformer这里都有
本文将从传统的vanilla Transformer入手，从模型结构改进、预训练等两个角度全面的介绍各种不同形式的x-former，并对其未来的可能发展方向提出可行的建议。
2022-02-06 18:00:29
1965
原创 如何提高少样本学习中的参数有效性以及数据有效性
私信我领取目标检测与R-CNN/数据分析的应用/电商数据分析/数据分析在医疗领域的应用/NLP学员项目展示/中文NLP的介绍与实际应用/NLP系列直播课/NLP前沿模型训练营等干货学习资源。
2022-02-04 20:17:36
2494
原创 会话式知识库问答的焦点实体转换建模
本篇论文中，作者试图对这些隐含的实体进行建模，这些实体被作者称之为焦点实体（Focal Entities），如图1中的《伟大的盖茨比》、F. Scott Fitzgerald等等。
2022-02-03 18:51:50
518
原创 BERT-MRC：统一化MRC框架提升NER任务效果
受到当下一些研究者[4][5]将NLP问题转换为QA任务的启发，作者提出一种统一化MRC框架来同时解决nested NER和flat NER两种类型任务。
2022-02-01 19:26:40
2182
原创 文本图Tranformer在文本分类中的应用
本文作者引入了一个基于异质性图神经网络的新Transformer方法（文本图Transformer，或者TG-Transformer）。
2022-01-31 12:37:55
885
原创 多对多多语言神经机器翻译的对比学习
本篇ACL会议论文提出了一种统一多语言翻译模型mRASP2来改进翻译性能，利用多语言对比学习能综合表达的优点改进了机器翻译性能，尤其提高了非英语方向的翻译质量。
2022-01-30 21:18:47
996
原创 搜索历史、推理未来：时序知识图谱上的两阶段推理
那人类是如何预测未来事件的呢？根据心理学著名的双重过程理论，人类首先是搜索海量记忆，直观地找到一些相关的历史信息（即线索）。
2022-01-29 20:15:18
1225
原创 ERNIE代码解析
考虑到ERNIE使用BRET作为基础模型，为了让没有基础的NLPer也能够理解代码，笔者将先为大家简略的解读BERT模型的结构，完整代码可以参见[1]。
2022-01-28 18:00:00
1771
原创 知识增强的预训练语言模型系列之KEPLER：如何针对上下文和知识图谱联合训练
知识增强的预训练语言模型系列之KEPLER：如何针对上下文和知识图谱联合训练
2022-01-24 11:18:26
857
原创 端到端“大一统”模型 能否迎来多目标跟踪的终局？
©NLP论文解读原创•作者 | 朱林生活中多目标跟踪问题屡见不鲜，比如稠密人群检测、场景识别、智慧交通等场景下多目标跟踪都是避不开的话题。解决多目标跟踪（Multi-Object Tracking, MOT）问题有两种基本范式，其一是先检测后跟踪（Tracking-by-detection, TBD），将检测和跟踪作为两个独立任务来对待。另外一种是联合检测和跟踪两个任务（Joint detection and tracking,JDT），进行端到端（End-to-en..
2022-01-12 15:28:41
1730
原创 论文解读：Generated Knowledge Prompting for Commonsense Reasoning
论文解读：Generated Knowledge Prompting for Commonsense Reasoning
2022-01-11 17:03:16
2488
原创 论文解读：知识增强的预训练模型简介
©NLP论文解读原创•作者| 杨健专栏系列概览该专栏主要介绍自然语言处理领域目前比较前沿的领域—知识增强的预训练语言模型。通过解读该主题具备代表性的论文以及对应的代码，为大家揭示当前最新的发展状况。为了能够和大家更好的分享自己的收获，笔者将遵循下面几个原则。1、理论讲解尽量深入浅出，通过举例子或者大白话讲解论文，而非仅针对原文翻译。2、针对论文中一些重要的术语，适时的做出解释。3、理论和实践相结合，除了理论讲解，还会加入部分重要代码讲解。并且分享个人认为重要...
2021-12-28 23:25:54
1927
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人