金字塔上的蜗牛的专栏

原文链接：http://www.2cto.com/kf/201308/237246.htmljava代码：

相比于批梯度下降法，随机梯度下降法更快，但是也有不能收敛到最优解的问题。一种min-batch的梯度下降法是二者的折中。

坐标下降法是一种思想简单的优化方法，常用的坐标轮换搜索是其中的一个特例。

光滑函数(smoothing function)是指在优化过程中，如果目标函数是光滑函数，那么有一些最优化方法可以保证优化时得到全局最优解。

凸函数与伪凸函数在最优化中有特殊的意义，有着利于优化的性质。现在予以区分和联系。

设有n个样本，x1，x2...xn样本方差为总体方差为样本方差这么定义原因是为了五偏估计，是人为定义的，这里面涉及到相关数学证明。

在最优化领域，有几个你绝对不能忽略的关键词：拟牛顿、DFP、BFGS。名字很怪，但是非常著名。下面会依次地说明它们分别“是什么”，“有什么用” 以及 “怎么来的”。但是在进入正文之前，还是要先提到一个概念上的区别，否则将影响大家的理解：其实DFP算法、BFGS算法都属于拟牛顿法，即，DFP、BFGS都分别是一种拟牛顿法。先说一点轻松的——我至少要让一小部分人对这篇文章“有点兴趣

向量a与向量b的外积为aXb.

概述：给定三角形ABC和一点P(x,y,z)，判断点P是否在ABC内。这是游戏设计中一个常见的问题。需要注意的是，这里假定点和三角形位于同一个平面内。本文介绍三种不同的方法，由浅入深

我的理解：先验概率：对某个随机变量y的概率的预先估计，如果是离散型随机变量就是预先估计的它的概率分布，若是连续型随机变量则是预先估计的它的概率密度函数。常见的离散型随机变量概率分布有：伯努利分布，多项式分布。常见的连续型随机变量概率密度函数有：正态分布函数，泊松分布函数，伽马分布函数。后验概率：当我们观察到了数据x之后，然后得到的随机变量y的概率的估计。举个例子：抛