BigCowPeking

预备知识　导数图1：导数为零的三种点　　 如图 1 ， 若一个一元函数  在某区间内处处可导（即对区间内的任何  导数  都存在），若区间内存在某些  能使  （ 即在这些点处函数曲线的斜率为零）， 这样的点被称为驻点．　　 而从函数曲线来看，驻点又分为三类： 极大值，极小值，鞍点． 我们以为中心取一个小区间， 如果这个区间足够小， 那么容易看出对于极大值点，  在小区间内递减， ...

一、统计学的基本概念统计学里最基本的概念就是样本的均值、方差、标准差。首先，我们给定一个含有n个样本的集合，下面给出这些概念的公式描述：均值：标准差：方差：均值描述的是样本集合的中间点，它告诉我们的信息是有限的，而标准差给我们描述的是样本集合的各个样本点到均值的距离之平均。以这两个集合为例，[0, 8, 12, 20]和[8, 9, 11, 12]，两个集合的均值都是10，...

Cholesky分解法又叫平方根法，是求解对称正定线性方程组最常用的方法之一。对于一般矩阵，为了消除LU分解的局限性和误差的过分积累，采用了选主元的方法，但对于对称正定矩阵而言，选主元是不必要的。定理：若对称正定，则存在一个对角元为正数的下三角矩阵，使得成立。Cholesky分解的条件(这里针对复数矩阵)一、Hermitian matrix（埃尔米特矩阵）：矩阵中的元素共轭对称（复...

多重共线性在介绍脊回归之前时，先了解一下多重共线性。在线性回归模型当中，我们假设每个样本中每个变量之间是相互独立的（参考之前的一篇博客：线性回归与梯度下降（linear regression and gradient descent））。就是说下面的公式中，x1,x2,.....,xn中的某几个变量之间存在相关性，或者用矩阵的形式表示的话，矩阵中的某一列可以用其他的列，或其他的...

3-1、为什么使用概率？ 概率论是用于表示不确定性陈述的数学框架，即它是对事物不确定性的度量。在人工智能领域，我们主要以两种方式来使用概率论。首先，概率法则告诉我们AI系统应该如何推理，所以我们设计一些算法来计算或者近似由概率论导出的表达式。其次，我们可以用概率和统计从理论上分析我们提出的AI系统的行为。计算机科学的许多分支处理的对象都是完全确定的实体，但机器学习却大量使用概率论。实际...

http://blog.youkuaiyun.com/pipisorry/article/details/52200140微积分直观地说，对于一个给定的正实值函数，在一个实数区间上的定积分可以理解为在坐标平面上，由曲线、直线以及轴围成的曲边梯形的面积值（一种确定的实数值）。积分的一个严格的数学定义由波恩哈德·黎曼给出（参见条目“黎曼积分”）。 一．基本初等函数求导公式函数的和、差、积、商的...

导言凸优化（convex optimization）是最优化问题中非常重要的一类，也是被研究的很透彻的一类。对于机器学习来说，如果要优化的问题被证明是凸优化问题，则说明此问题可以被比较好的解决。在本文中，SIGAI将为大家深入浅出的介绍凸优化的概念以及在机器学习中的应用。 凸优化简介在SIGAI之前的公众号文章“理解梯度下降法”中我们介绍了最优化的基本概念以及梯度下降法。如果读者对...