u010592244的专栏

正态分布与l2正则、岭回归Question假设模型的参数为w，参数的先验分布是均值为0的正态分布，模型的数据集为D={x1, x2, …,xN}, 求参数的最大后验估计。解利用贝叶斯定理，不妨设w是单个标量，对于固定的σ，上面求最小化的函数中第一项是常量，第二项是l2正则，第三项是损失函数的和。很明显，我们可以很容易把这个结果推广到多维参数中。如果我们假定模型的各个参数的先验是相互独...

最大熵与正态分布Question已知随机分布的均值和方差，求使得熵最大的概率分布。求解首先将问题翻译成数学语言：其中p(x)为概率分布密度函数，信息熵表示变量的确定性程度，熵越大确定性程度越低，也即表示未知越多。在信息论中，最大熵原理是一个非常重要的原则，也是奥卡姆剃刀原则在信息论中的应用，用一句通俗的话讲，就是如果你不知道事件的真相，那么你只能按照已知的信息去推测所有的可能和可能性，...

最小二乘回归与正态分布Question假设数据集D={⋯(xi,yi),⋯ }D=\{\cdots (x_i, y_i), \cdots\}D={⋯(xi​,yi​),⋯}是由模型y=fθ(x)y = f_\theta(x)y=fθ​(x)产生，但是因为观测引入了误差ε，不妨设误差服从均值为0的正态分布即$y = f_\theta(x)+ \epsilon , 误差...

Gamma分布Problem随机事件T在单位时间内发生的平均频数是λ，求事件T发生第α次所需要的时间所服从的分布。求解首先将问题离散化，设单位时间为1，将单位时间拆分成N等份，当N足够大时可以假定在每个时间间隔上事件T只有发生和没有发生2种可能，其中发生的概率为,于是乎，第α次发生所经历的时间间隔总数N的服从概率为：对F求微分，即可得到时间x的概率分布很明显，伽马分布可以看作是指数分布的推...

混合高斯模型（GMM）与EM算法Question有一个数据集D={x1,x2,...,xN}D=\{x_1, x_2, ..., x_N\}D={x1​,x2​,...,xN​}中的每个数据点是这样产生的，先从K个类别中选择一个类别，然后从该类别对应的数据产生分布中产生数据点。若K选1的对应的分布是Multinoulli分布，每个类别对应的数据产生分布是不同的高斯分布，估计数据点x对应的分布。...

未登陆词的集中处理方式character-basedword-pieceWord: Jet makers feud over seat width with big orders at stakewordpieces解码方式1: _J et _makers _fe ud _over _seat _width _with _big _orders _at _stakewordpiec...

一般描述PageRank算法是谷歌创始人佩奇和布林的博士论文中提出的算法，然后他们利用这个算法成立了谷歌，一个当前（2019年7月）市值最高的公司之一。换句话讲，人类历史上最厉害的算法或许不知道是哪个，但是最有“钱途”的算法无疑就是PageRank了。PageRank算法提出来之前，人们在互联网上浏览网页，基本上只有三种途径，一种是朋友的推荐或者自己的收藏夹，或者雅虎这样的黄页，在某种意义上雅...

简介Rectified Adam是最新提出的效果最优的adaptive stochastic优化器，超越了原始的Adam，稳定性也比warmup版本的Adam效果要好。原始论文地址：https://arxiv.org/abs/1908.03265本文主要记录RAdam的Keras实现。Keras实现继承自原始的Keras的Adam类.file: radam.py#coding=utf8...