u010995990的博客

我们可以使用一个kenlm的python包去训练一个语言模型，并对每个句子进行打分。安装kenlm:pip install https://github.com/kpu/kenlm/archive/master.zip训练语言模型首先下载语言数据，我们可以下载Bible数据：wget https://github.com/vchahun/notes/raw/data/bible/bible.en.txt.bz2然后创建一个process.py文件，对数据进行分词等预处理：import sy

我们往往能看到在对模型进行优化时，有的说用梯度下降，有的说用梯度上升，这是为什么呢。最主要是因为目标不一样，梯度下降是求局部极小值，而梯度上升是求局部最大值。如logistic的目标函数： 这里的优化目标是出现的概率值，我们要求概率的最大值，也就是MLE(极大似然估计），所以用梯度上升法。而线性回归的代价函数为： 优化的目标值是误差，我们要求误差最小值，所以使用的是梯度...