Chinese NER Using Lattice LSTM论文笔记

最新推荐文章于 2021-05-28 00:16:46 发布
置顶 最新推荐文章于 2021-05-28 00:16:46 发布
阅读量351 收藏 3
点赞数 2
文章标签： pytorch 自然语言处理 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_38957497/article/details/115681315
版权
本文介绍了命名实体识别（NER）的重要性，并对比了基于字符和基于词的两种中文NER方法。重点阐述了LatticeLSTM模型，它结合了字和词的语义信息，解决了中文NER的边界问题，且在多个数据集上达到最优效果。LatticeLSTM通过词典增强，改善了基于字方法的不足，但增加了计算复杂性，并仍存在信息利用不完全的问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

如何帮助理解本文

了解Basic LSTM的基本原理，最好能进行公式的推导

什么是命名实体识别？

命名实体识别（Named Entity Recognition，NER）是NLP中一项非常基础的任务。NER是信息提取、问答系统、句法分析、机器翻译等众多NLP任务的重要基础工具。命名实体识别的准确度，决定了下游任务的效果，是NLP中非常重要的一个基础问题。举个例子：
在这里插入图片描述
命名实体识别的任务就是从文本中自动提取出各种类型的命名实体，如上图的人名实体、机构实体、地点实体等。
**

中文命名实体识别的两种方案

**
1.基于中文字的方法
即以每一个中文字为一个单位进行标注和训练，不需要对文本进行分词，但是基于字符的方案存在无法利用词与词之间的语义信息，影响了命名实体识别的效果。
在这里插入图片描述
如上图所示，首先将字符通过Embedding生成对应的向量，即x,然后通过特征提取网络如双向LSTM模型生成c，在通过CRF进行解码输出最后的结果。

2.基于中文词的方法
即以中文词为一个单位进行标注和训练，需要首先对文本进行分词，再形成对应的词向量，这种方法考虑了词

最低0.47元/天 解锁文章
importance*
关注
论文阅读笔记-Lattice: Chinese NER using Lattice LSTM
m0_53292725的博客
03-23 1821
论文地址： github地址：https://github.com/jiesutd/LatticeLSTM Abstract 我们研究了一个格子结构的LSTM模型，该模型对输入的字符序列以及与词库相匹配的所有潜在词汇进行编码。 与基于字符的方法相比，我们的模型明确地利用了词和词的序列信息。 与基于单词的方法相比，我们的模型明确地利用了单词和词序信息。 网格LSTM不会出现分割错误。 门控递归单元允许我们的模型从一个句子中选择最相关的字符和词，以获得更好的NER结果。在各种数据集上的实验表明，格子LST
Chinese NER Using Lattice LSTM 论文翻译及理解
weixin_37195726的博客
12-02 2104
摘要 我们研究了一个面向中文NER的格子结构的LSTM模型，它编码一系列输入字符，以及所有匹配词典的潜在单词。与基于字符的方法相比，我们的模型显式地利用了单词和单词序列信息。与基于词的方法相比，格LSTM不存在分词错误。门控递归细胞使我们的模型能够从句子中选择最相关的字符和单词，以获得更好的NER结果。在不同数据集上的实验表明，lattice LSTM的性能优于基于字和基于字符的LSTM基线，取得...
Chinese NER Using Lattice LSTM
05-17
命名实体识别，采用基于字的BiLSTM-CRF(Bidirectional LSTM-CRF)模型，利用人工校验的数据集进行训练，最后对该模型进行评测。
Chinese NER Using Lattice LSTM【论文笔记】
Chevalier的博客
07-22 710
一、摘要   作者在中文的NER任务上提出了一个新颖的lattice-structured LSTM，编码输入字符序列和所有与词库匹配的潜在词语。与基于字符的方法相比，我们的模型明确地利用了单词和单词序列信息。与基于单词的方法相比，lattice LSTM不会受到分词错误的影响。门控循环神经元允许模型选择最相关的字符和单词，以此得到更好的结果。在各种数据集的实验表明，与基于字符和单词的方法相比，l...
论文笔记【一】Chinese NER Using Lattice LSTM
weixin_33922672的博客
09-15 411
论文：Chinese NER Using Lattice LSTM 论文链接：https://arxiv.org/abs/1805.02023 论文作者：Yue Zhang∗and Jie Yang∗ 项目链接：https://github.com/jiesutd/LatticeLSTM 论文翻译：转自机器之心 https://www.jiqizhixin.com/article...
论文笔记：Chinese NER Using Lattice LSTM Yue
Wangpeiyi9979的博客
10-23 683
文章目录摘要一、简介指导性结论 摘要 文章提出了一种将【字】和所有【潜在词组】作为输入的模型。其有以下优势： 对于基于字的方法：模型利用了词组的信息 对于基于词的方法：模型设计了门控机制，解决了分词错误问题。 一、简介 文章为了在避免分词错误的情况下利用词信息，设计了一种Lattice LSTM的结构，其可以自动学习一些词组，作为输入。示意图如下： 指导性结论 对于中文NER来说，基于字符...
《Chinese NER Using Lattice LSTM》
you_jinpeng的博客
12-14 323
《Chinese NER Using Lattice LSTM》2018年ACL论文 文章目录作用和动机模型训练实验结果 作用和动机 作用：用于中文的实体抽取 动机：避免分词不同带来的实体命名错误 和 以字为输入带来的词语内字之间的信息损失。 分词不同带来的实体命名不同的例子： 南京市长江大桥 南京市//长江大桥 南京//市长//江大桥 南京市//长江//大桥 模型 “以字输入的LSTM” 上整...
论文阅读总结——Chinese NER Using Lattice LSTM
qq_32728345的博客
07-28 8959
论文阅读总结——Chinese NER Using Lattice LSTM 这是本人的第一篇博客，经验尚浅，还望多多指教 博主最近在做中文命名实体识别（以下简称 NER），期间阅读了相关文献，在此对一些文章进行介绍和总结，加深印象，加深理解。 本文讲述今年发表在 ACL 的文章《Chinese NER Using Lattice LSTM》，作者是来自新加坡科技设计大学的 Yue Zh...
论文笔记：Chinese NER Using Lattice LSTM
qq_22472047的博客
10-19 1251
概述： 目前，英文NER：效果最佳的模型是 LSTM-CRF（Lample et al., 2016; Ma and Hovy, 2016; Chiu and Nichols, 2016; Liu et al., 2018）。 中文 NER：也可以使用这种模型，但是中文NER和分词相关，执行中文 NER 的一种直观方式是先执行分词，然后再应用词序列标注。基于character-level的LSTM-CRF无法利用句子中的单词word信息。 charNER的缺点：明确的word和word sequenc
论文详读：Chinese NER Using Lattice LSTM
nooo255的博客
05-21 822
这篇论文是18年发表在ACL上的论文，是18年基于字符的中文命名体识别的最好的模型。（19年IJCAI发表的CNN-Based Chinese NER with Lexicon Rethinking，是在这篇论文上做的改进，也可以看看） 1.论文背景 1.1 NER 首先介绍一下什么是NER 命名体识别，命名体识别指的是将一段文本序列中包含的我们感兴趣的实体（有特定意义的实体）识别出...
paper notes 《Chinese NER Using Lattice LSTM》
Amy_mm的博客
08-23 3937
paper title：《Chinese NER Using Lattice LSTM》 摘要 对于中文命名实体识别，我们研究了一种lattice结构的lstm模型（lattice-structured LSTM），这个模型能够对输入的字符序列以及序列中能够与字典相匹配的隐藏的词信息一同编码。 相比于基于字粒度的方法，lattice的能够更好的利用字以及字序列的信息。相比于词粒度的方法，...
Chinese NER Using Lattice LSTM【ACL2018】
SYSU_BOND的博客
05-28 351
1. 提出先验词的网格结构： 2. 基于上述网格结构，设计Lattice-LSTM，用于融合先验词信息： 在实现细节上，以字粒度LSTM模型未基础，融入单词网格信息： 单词如“南京市”，表示为向量，由预训练词向量如Word2Vec表示 并通过一个与LSTM Cell相同的运算，得到单词Cell State，以及一个类似于Input Gate的结果【注意这里使用是词向量，不是字向量】用于跟原本LSTM中的Input Gate去计算权值【word level 没有Output Gate】：
学习NER(Chinese NER Using Lattice LSTM)
优快云_of_ding的博客
09-19 1129
研二，研究方向终于确定下来了——中文命名实体识别（命名实体识别:NER） 一、NER研究现状 NER 的研究现状。方法上大体分为两类：基于统计机器学习、基于深度学习。近年来，硬件的飞速发展使得计算机的计算能力大幅度提升，再加上互联网普及产生的海量数据的支持，深度学习得以走出低谷，迎来了新一轮热潮。深度学习以神经网络为基本结构，因其具有从大量无标注语料中获取潜在语义信息的能力，使得研究者不必花时间去了解特定领域和语言学知识，也无需人工提取大量特征，有效地避免了人工特征工程的费时费力。尽管深度学习在文字处理方面
Chinese NER Using Lattice LSTM.Yue Zhang and Jie Yang.ACL2018
qq_27552845的博客
04-24 894
一.标题 Chinese NER Using Lattice LSTM.Yue Zhang and Jie Yang.ACL2018 二.文章 摘要 We investigate a lattice-structured LSTM model for Chinese NER, which encodes a sequence of input characters as well as all p...
Chinese NER Using Lattice LSTM笔记
qq_43708647的博客
03-12 294
摘要 使用lstm 编码字符和潜在的lexicon,相比于character-based model ,更能利用单词信息，相比于word-based，更不易遭受分词的错误
flat: chinese ner using flat-lattice transformer
04-06
这是一个关于中文命名实体识别（NER）技术的主题，使用了平面栅格变压器（Flat-Lattice Transformer）方法。该方法是一种基于神经网络的自然语言处理技术，尤其适用于处理中文这种拥有复杂语法和语义的语言。通过...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值