whuawell的博客

举个例子，一个表示抛硬币结果的随机变量可以表示成 X = {1 如果正面朝上,     2 如果反面朝上}         随机变量是一个变量，它取值于一组可能的值（离散或连续的），并服从某种随机性。随机变量的每个可能取值的都与一个概率相关联。随机变量的所有可能取值和与之相关联的概率就被称为概率分布（probability distrib

主要是最近所看文章摘取，细节不再累赘1    Probability    3    1.1    probability theory    3    1.2    common distributions    5    1.2.1    discrete distributions    6    1.2.2    continuous distributions  

Probability1.1 probability theory1.2 common distributions1.2.1 discrete distributions1.2.2 continuous distributions

Bayesian Perspective2.1    Introduction2.2    Simple Example2.3    The beta-binomial model2.4    The Dirichlet-multinomial model2.5    Naive Bayes classifiers2.6    Hierarchical

Linear regression3.1    Introduction3.2    Robust linear regression3.3    Shrinkage Methods3.3.1    Ridge Regression3.3.2    Lasso Regression(Sparse)3.3.3    Orthogonal Mat

4    Classification    4.1    QDA and LDA    4.2    Logistic regression    4.3    Bayesian Logistic regression

Tricks         1. 对于二分问题，假设存在线性超平面将样本区分          2.在此情况下，合理的可要求在几何间距最大         3.此时问题转化为QP问题，有现成的解法，但还有更高效的，于是乎通过拉格朗日对偶和KKT条件得到对偶问题此处省略一坨证明和推导。          4. 同样对于特征太多的情况，还是很费时间，于

#Backpropagation介绍深度学习中，常见的CNN、RNN神经网络中，参数估计通常在经过样本批处理时，使用SGD算法更新权重W和偏置b。SGD会根据样本Loss将误差后向传播，根据chain rule链式法则计算每一层的误差，从而计算总误差关于W、b的导数，从而更新W或者b。#几个定义-神经元：这里考虑误差传播时，通常意义下的隐藏层、输出层、输入层点-神经元输入：u =