扇扇子的炼丹师

文章目录语言模型统计语言模型统计语言模型中的平滑操作马尔科夫假设语言模型评价指标：困惑度（Perplexity）词的表示方法 - One Hot（独热编码）本来旨在对概念有个基本了解，方便听课时不至于像天书一样。建议关注，此文会持续更新~语言模型LM的目的是为一个句子或词序列赋予一个概率。LM预测下一个词的概率，也就是说它预测下面最有可能出现的一个词。任何一个具有上面任务的模型称为语言模型。如word2vec通过当前词预测上下文词，或通过上下文词预测当前的目标词。统计语言模型统计语言模型是

文章目录动机(Motivation)BP过程梳理:1.前向传播 - 每一层都需要激活函数2. 反向传播2.1 如何将输出层的误差反向传播给隐藏层2.2链式求导 - 继续反向更新参数预备知识(Preparation)随着学习的深入, 越来越多的奇怪概念开始冒出来, 不管是看李宏毅的视频,还是网上的文章, 只知道按照他们说的来理解, 但实际中还是会有很多为什么缠着你, 浑浑噩噩的学完一个个概念,然后再去机械的应用, 想尽办法得到那个最佳Loss.但是说多无用, 唯有不停的学, 不停的理解, 说不定哪天就能

本文旨在对刚学了一点Linear Regression理论知识, 还不知道代码如何实现,以及代码复现后查看哪些参数可以确定线性回归模型训练的好坏的同学,有些许启发.本文参考公众号’酷酷的算法’一. 模型训练一般我们需要通过模型求weight和bias, 但这次为了方便验证,我们假设已知方程f(x)=3x+4f(x) = 3x +4f(x)=3x+4来模拟实验环境, weight和bias是3和4.xxx: 通过random.uniform()来获得已知的特征矩阵通过random.normal()来