浅梦的学习笔记

最近在看一些概率统计的知识，顺便做了一些笔记整理。基本概率模型这里简单介绍三个概念，古典概型，频率学派，贝叶斯学派。古典概型 这个模型下，随机实验所有可能的结果是有限的，并且每个基本结果发生的概率是相同的 比如：投掷一枚均匀硬币，结果只有两种（假设硬币没有立起来），正面朝上和反面朝上，那么正面朝上的的概率就是0.5。这是基于古典概率模型的计算。频率学派 认为待估计参数是某个未知的常量，通过

频率推断中心极限定理Central Limit Theorem(CLT) 独立同分布的随机变量X，若期望和方差都存在，E(Xi)=μE(X_i)=\mu,D(Xi)=σ2D(X_i)=\sigma^2则N个（N很大）独立同分布的随机变量的和近似服从正态分布，即∑ni=1Xi∼N(nμ,nσ2)\sum_{i=1}^n{X_i} \sim N(n\mu,n\sigma^2)或∑ni=1Xin∼N(

本文介绍了指数分布和正态分步的先验，以及无信息先验。

Beta分布 贝塔分布（Beta Distribution) 是一个作为伯努利分布和二项式分布的共轭先验分布的密度函数，在机器学习和数理统计学中有重要应用。 贝塔分布中的参数可以理解为伪计数，伯努利分布的似然函数可以表示为，表示一次事件发生的概率，它为贝塔有相同的形式，因此可以用贝塔分布作为其先验分布。—–百度百科 概率密度函数0<x<10<x<1 f(x;α,β)=xα−1(

本文首先简要说明了几种在线稀疏学习算法，如L1OGD,TG,FOBOS,RDA。然后主要介绍FTRL算法，包括参数更新策略，公式推导，和逐维度的学习率调度机制。最后给出了LR模型上带l1l2正则化的FTRL算法的伪代码。

本文介绍了无约束最优化的两种常用方法，梯度法和牛顿法，拟牛顿法和BFGS，Broyden类算法

本文介绍了矩阵求导和矩阵乘法。

优化和凸优化形式。Lagrange对偶问题。强弱对偶性。互补松弛性和KKT条件。

【Alias】时间复杂度O(1)的离散事件抽样方法最近在看graph embedding的一些东西，发现像deepwalk,node2vec在采样节点路径以及line中采样边的时候都用到了Alias方法。这里简单总结一下问题定义给定一个离散型随机变量的概率分布规律P(X=i)=piP(X=i)=p_iP(X=i)=pi​,i∈1,...Ni\in{1,...N}i∈1,...N，希望设计一个...