XB_please的博客

论文地址：A Neural Probabilistic Language Model 本文为了解决one-hot表示可能带来的维数灾难问题，提出了分布式表示，这种方法允许每一个训练语句给模型提供关于语义相邻句子的指数级别数量的信息。 作者基于n-gram模型，通过使用语料对神经网络进行训练，最大化上文的n个词语对当前词语的预测。该模型同时学到了（1）每个单词的分布式表示和（2）单词序列的概率分布函数。 该模型学习到的词汇表示，与传统的one-hot表示不同，它可通过词嵌入之间的距离（欧几里得距离、余弦距离等

一、前言 最近谷歌搞了个大新闻，公司AI团队新发布的BERT模型，在机器阅读理解顶级水平测试SQuAD1.1中表现出惊人的成绩：全部两个衡量指标上全面超越人类，并且还在11种不同NLP测试中创出最佳成绩，包括将GLUE基准推至80.4％（绝对改进7.6％），MultiNLI准确度达到86.7% （绝对改进率5.6％）等。可以预见的是，BERT将为NLP带来里程碑式的改变，也是NLP领域近期最重要的...

最近在看论文， Bidirectional LSTM-CRF Models for Sequence Tagging 该论文详细介绍了多种基于长短期记忆(LSTM)的序列标签模型，包括LSTM网络，双向LSTM（BI-LSTM）网络，具有条件随机场（CRF）层的LSTM（LSTM-CRF）和具有CRF层的双向LSTM（BI-LSTM-CRF）。 ...