Daniel_djf的专栏

1.什么是随机过程？在当代科学与社会的广阔天地里，人们都可以看到一种叫作随机过程的数学模型：从银河亮度的起伏到星系空间的物质分布、从分子的布朗运动到原子的蜕变过程，从化学反应动力学到电话通讯理论、从谣言的传播到传染病的流行、从市场预测到密码破译，随机过程理论及其应用几乎无所不在。人类历史上第一个从理论上提出并加以研究的过程模型是马尔科夫链，它是马尔科夫对概率论乃至人类思想发展作出的又一伟大

PCA是基本的线性降维方法，同时也是一种监督学习降维方法。PCA是希望降维之后，尽量保留原始数据的方差结构，所以我们需要投影方向a使得投影之后数据的方差最大化。1. 求解PCA是通过求解协方差矩阵的特征向量作为投影方向，如果我们要把原始数据降维到k维，把协方差矩阵前k大的特征值所对应的特征向量作为投影方向，证明见PPT。 步骤：1.      假设有m个d为数据，把这些

在看论文和机器学习教材的时候，经常会看到生成模型和判别模型，一致对着两个模型概念很模糊，在这里自己做一个小结。 在后面介绍这个两个模型时，我们以分类问题为例，以加深理解。我们都知道，分类问题可以分为两个阶段：推理阶段（inference stage）和决策阶段（decision stage）。推理阶段：利用训练数据学习得到一个可以计算 的模型。决策阶段：利用在推理阶段得到的后验概率

转自：http://blog.youkuaiyun.com/u012162613/article/details/44265967本文是《Neural networks and deep learning》概览 中第三章的一部分，讲机器学习算法中，如何选取初始的超参数的值。（本文会不断补充）学习速率（learning rate，η）运用梯度下降算法进行优化时，权重的更新规则中，

Optimization: Stochastic Gradient DescentOverviewBatch methods, such as limited memory BFGS, which use the full training set to compute the next update to parameters at each iteration tend to