NLP翟

doccano是什么？安装是什么？GitHub链接地址：Heredoccano是一款NLP相关的标注工具，它能满足像序列标注问题和分类问题的标注。在深度学习和NLP中，数据其实比模型更重要。当你没有强大的数据标注团队时（科研狗，小作坊），数据标注往往是最耗时，最难啃的一块。古人云：工欲善其事必先利其器。好的标注工具能使得你的标注效率倍增，而且标注的准确性提高。安装要想使用如此强大的标...

共指消解技术综述摘要重点引言基本概念共指消解的研究现状摘要重点共指消解旨在识别指向同一实体的不同表述共指消解是一个NP-Hard的问题共指消解的发展经历了基于规则、基于机器学习、基于全局最优化、基于知识库和基于深度学习的模型阶段引言共指消解（coreference resolution）技术同NER、RE。作为自然语言历届基础技术被广泛的应用于：文本摘要、机器翻译、自动问答和知识图...

逻辑回归逻辑回归虽然字面上是回归二字，但是它本质是一种解决分类问题的算法，最直观的表达它就是一个Sigmod函数Sigmod(x)=11+eω∗x+b{Sigmod(x)=\frac{1}{1+e^{\omega*x+b}}}Sigmod(x)=1+eω∗x+b1​Logstic的损失函数为：CostFuntion=−1m∑i=1m[ylog⁡y^+(1−y)log⁡(1−y^)]{Cos...

神经机器翻译引言本文是对2016年发表的论文《NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE》简要概述。该论文主要是最早将Attention Model 引入Encoder-Decoder框架。引言神经机器翻译试图建立和训练一个单一的，大的神经网络，读取一个句子，并输出正确的翻译。目前大部分提出的...

Deep Learning 论文笔记前言监督学习反向传播算法卷积神经网络本论文是人工智能领域三大牛人在2015年Nature上发表的文章，掀起了人工智能的热潮，进入了全名DL的时代，同时这三位作者也在2019年获得了图灵奖。本文的内容是按照论文的行文，摘取最重要的部分做相应的记录。前言Deep Learning 可以让多层计算模型去学习和拟合高层的抽象表示，同时完成复杂的计算与表达。几十...

论文精读——TransformerAbstractIntroductiontransformer是一个颠覆式的创造，开启了NLP的新时代Abstract主流的序列模型都是采用CNN和RNN来构造的，此外较好的编解码器模型都会采用Attention机制。本文提出了一个简单的模型是Transformer，完全的基于注意力机制，而避免了使用CNN与RNN。Transformer提供了并行计算的...

梯度下降批量梯度下降（BGD）随机梯度下降（SGD）小批量梯度下降（MBGD）Reference梯度下降优化器有很多，但是本文仅仅讨论梯度下降时所采用的数据量对效果的影响。从梯度下降的大类来分，可以分为如下的三类：三个梯度下降法的损失函数为：均方误差损失函数C=12m∑i=1m(Yi−hw(Xi))2C=\frac{1}{2m}\sum_{i=1}^m(Y_i-h_w(X_i))^2C=2m...