m0_38024592的博客

1 安装前言Stanford CoreNLP的源代码是使用Java写的，提供了Server方式进行交互。stanfordcorenlp是一个对Stanford CoreNLP进行了封装的Python工具包，GitHub地址，使用非常方便。安装依赖1：下载安装JDK 1.8及以上版本。 2：下载Stanford CoreNLP文件，解压。 3：处理中文还需要下载中文的模型jar文...

动量法 Momentum：目标函数有关自变量的梯度代表了目标函数在自变量当前位置下降最快的方向。因此，梯度下降也叫作最陡下降（steepest descent）。在每次迭代中，梯度下降根据自变量当前位置，沿着当前位置的梯度更新自变量。然而，如果自变量的迭代方向仅仅取决于自变量当前位置，这可能会带来一些问题。可以看到，同一位置上，目标函数在竖直方向（x2轴方向）比在水平方向...

BERT 就是 UNsupervised trained TransformerBert 只用到了 Transformer 结构中的 Encoder 部分，训练的时候不需要标注序列。比如训练一个中英翻译模型，只收集中文语料就可以了，并不需要输入对应翻译之后的英文文本。Transformer 就是 用到了大量 Self-attention layer 的 Seq2seq model...