justsolow的博客

Bert理论浅析大名鼎鼎的Bert其实就是在Transform的基础上利用Transform的encode部分实现的。Bert的具体实现这里就不讲了，可以去看bert的论文和李宏毅老师的课程，讲的挺清楚的。下面主要来解释几个我阅读过程中的问题：1、bert是怎么训练的？bert的pre-train其实有两个部分组成。第一种：bert是一个无监督的模型，利用的是一个类似完形填空的直觉实现label生成和训练。总的来说，bert的实质就是：一切过往皆为序章！如下图所示：我们随机在一个序列的某

朴素贝叶斯下面是一些总结，再放两个大佬详细例子的举例。例子一（基本的朴素贝叶斯）例子二（拉普拉斯优化的朴素贝叶斯）贝叶斯公式：机器学习中的贝叶斯公式：因为在求P的时候会涉及多个特征概率的问题，所以我们假设特征之间相互独立，所以这种基于特征之间相互独立的贝叶斯叫做朴素贝叶斯。然后代入公式求解即可。但是还有两个问题没有解决？？？1、连续的数据怎么办？2、有缺失值的数组怎么办？对于第一个问题，我们得实现用极大似然估计求出其概率模型，一般是正态函数，然后将x带入高斯函数得出相应的概率进行计

感知机算法的推导感知机感知机是二分类的线性分类模型，输入为实例的特征向量，输出为实例的类别（取+1和-1）。感知机对应于输入空间中将实例划分为两类的分离超平面。感知机旨在求出该超平面，为求得超平面导入了基于误分类的损失函数，利用梯度下降法对损失函数进行最优化。如果我们将sign称之为激活函数的话，感知机与logistic regression的差别就是感知机激活函数是sign，logistic regression的激活函数是sigmoid。sign(x)将大于0的分为1，小于0的分为-1；sigm

SVM的推导（非常详细）参考自（https://www.zhihu.com/search?q=svm%E6%8E%A8%E5%AF%BC&utm_content=search_suggestion&type=content）还有李航的统计学习。支持向量机有三个部分的内容，线性可分支持向量机，软间隔支持向量机，核函数。目标函数的得出首先SVM是一个线性分类器，SVM的目标就是找到最大间隔超平面。我们定义任意的超平面函数为：看上面的图，最中间的那条线就是（这里的w*就是上面的

从RNN到LSTM再到GRU参考自（https://www.cnblogs.com/jiangxinyang/p/9362922.html）先从rnn的最常见的模型来说起。上图中左边是RNN模型没有按时间展开的图，如果按时间序列展开，则是上图中的右边部分。我们重点观察右边部分的图。这幅图描述了在序列索引号t 附近RNN的模型。其中：1）x(t)代表在序列索引号 t 时训练样本的输入。同样...