小磊的专栏

中心极限定理是概率论中的一组定理。中心极限定理说明，在适当的条件下，大量相互独立随机变量的均值经适当标准化后依分布收敛于正态分布。这组定理是数理统计学和误差分析的理论基础，指出了大量随机变量之和近似服从正态分布的条件。独立同分布的中心极限定理设随机变量X1，X2，......Xn，......独立同分布，并且具有有限的数学期望和方差：E(Xi)=μ，D(Xi)=σ20(k=1,2....)，则对任...

1.归并排序/* time: o(nlogn) space:o(n) stable*/void merge(int*a, int start, int end, int mid){ int* aBackup = new int[end - start + 1]; memset(aBackup, 0, sizeof(int)*(end - start + 1)); int...

1.矩阵的转置2.矩阵的迹3.逆矩阵4.方阵的行列式求导：

正态分布（Normal distribution）又名高斯分布（Gaussian distribution），是一个在数学、物理及project等领域都很重要的概率分布，在统计学的很多方面有着重大的影响力。若随机变量X服从一个数学期望为μ、标准方差为σ2的高斯分布，记为：X∼N(μ,σ2),则其概率密度函数为正态分布的期望值μ决定了其位置，其标准差σ决定了分布的幅度。因其曲线呈钟形，因此人们又常常...

《Andrew Ng 机器学习笔记》这一系列文章文章是我再观看Andrew Ng的Stanford公开课之后自己整理的一些笔记，除了整理出课件中的主要知识点，另外还有一些自己对课件内容的理解。同时也参考了很多优秀博文，希望大家共同讨论，共同进步。网易公开课地址：http://open.163.com/special/opencourse/machinelearning.html逻辑回归在之前的学习...

《Andrew Ng 机器学习笔记》这一系列文章文章是我再观看Andrew Ng的Stanford公开课之后自己整理的一些笔记，除了整理出课件中的主要知识点，另外还有一些自己对课件内容的理解。同时也参考了很多优秀博文，希望大家共同讨论，共同进步。网易公开课地址：http://open.163.com/special/opencourse/machinelearning.html写了几篇笔记，发现好...

泊松分布: 是离散随机分布的一种; 通常被使用在估算在 一段特定时间/空间内 发生事件 数量的概率.使用泊松分布需要满足的前提条件:在 两个 相同大小/长度的 时间/空间内, 一个事件的发生的概率是相同的.事件发生于不发生是相互独立的\不受其他事件的发生或者不发生影响.PMF( probability Mass Function/概率质量函数):  点击了解PMF                 ...

适用环境：伯努利分布是较为简单的一种分布，应用于两种实验结果。要么成功，要么失败，一定程度上是二元的性质。这里，我们假设成功的概率为pp，显然失败的概率就变成了1−p1−p。 概率公式可以表示为f(x)=px(1−p)1−xf(x)=px(1−p)1−x，xx为0或1，1代表成功，0代表失败。 接下来我们研究以下统计量，1.数学期望E(x)=E(x1)+E(x2)+⋯+E(xn)=x1p1+x2p...

《Andrew Ng 机器学习笔记》这一系列文章文章是我再观看Andrew Ng的Stanford公开课之后自己整理的一些笔记，除了整理出课件中的主要知识点，另外还有一些自己对课件内容的理解。同时也参考了很多优秀博文，希望大家共同讨论，共同进步。网易公开课地址：http://open.163.com/special/opencourse/machinelearning.html在这篇博文中，我们来...

极大似然估计        以前多次接触过极大似然估计，但一直都不太明白到底什么原理，最近在看贝叶斯分类，对极大似然估计有了新的认识，总结如下：贝叶斯决策        首先来看贝叶斯分类，我们都知道经典的贝叶斯公式：        其中：p(w)：为先验概率，表示每种类别分布的概率；：类条件概率，表示在某种类别前提下，某事发生的概率；而为后验概率，表示某事发生了，并且它属于某一类别的概率，有了这...

常用的字符串Hash函数还有ELFHash，APHash等等，都是十分简单有效的方法。这些函数使用位运算使得每一个字符都对最后的函数值产生影响。另外还有以MD5和SHA1为代表的杂凑函数，这些函数几乎不可能找到碰撞。常用字符串哈希函数有BKDRHash，APHash，DJBHash，JSHash，RSHash，SDBMHash，PJWHash，ELFHash等等。对于以上几种哈希函数，我对其进行了...

首先看看百度百科对于独立同分布的解释：独立同分布independent and identically distributed (i.i.d.)在概率统计理论中，指随机过程中，任何时刻的取值都为随机变量，如果这些随机变量服从同一分布，并且互相独立，那么这些随机变量是独立同分布。如果随机变量X1和X2独立，是指X1的取值不影响X2的取值，X2的取值也不影响X1的取值且随机变量X1和X2服从同一分布，...

关于最小二乘问题的求解，之前已有梯度下降法，还有比较快速的牛顿迭代。今天来介绍一种方法，是基于矩阵求导来计算的，它的计算方式更加简洁高效，不需要大量迭代，只需解一个正规方程组。 在开始之前，首先来认识一个概念和一些用到的定理。矩阵的迹定义如下 一个的矩阵的迹是指的主对角线上各元素的总和，记作。即                                                    ...

原码我们用第一个位表示符号（0为非负数，1为负数），剩下的位表示值。比如：[+8] = [00001000]原[-8] = [10001000]原反码我们用第一位表示符号（0为非负数，1为负数），剩下的位，非负数保持不变，负数按位求反。比如：[+8] = [00001000]原 = [0000 1000]反[-8] = [10001000]原 = [1111 0111]...