机器学习学习资料

• 范数 L0 L1 L2 核范数 概念和应用

  • 概念理解和应用 http://blog.youkuaiyun.com/zouxy09/article/details/24971995
  • 定义 http://blog.youkuaiyun.com/xlinsist/article/details/51213593

• PCA

  • PCA（Principal Component Analysis）是一种常用的数据分析方法。PCA通过线性变换将原始数据变换为一组各维度线性无关的表示，可用于提取数据的主要特征分量，常用于高维数据的降维。
  • PCA的数学原理 http://blog.codinglabs.org/articles/pca-tutorial.html

• 最大似然函数、EM算法

  • 求最大似然函数估计值的一般步骤：
    
    1. 写出似然函数；
    2. 对似然函数取对数，并整理；
    3. 求导数，令导数为0，得到似然方程；
    4. 解似然方程，得到的参数即为所求
  • 从最大似然函数到EM算法 http://blog.youkuaiyun.com/zouxy09/article/details/8537620
  • EM算法：期望最大算法是一种从不完全数据或有数据丢失的数据集（存在隐含变量）中求解概率模型参数的最大似然估计方法。
  • EM http://www.cnblogs.com/jerrylead/archive/2011/04/06/2006936.html

• 逻辑回归

  • 逻辑回归梯度下降法详解 http://blog.youkuaiyun.com/lookqlp/article/details/51161640

• 感知器算法？

• 深度学习word2vec

  • http://suanfazu.com/t/shen-du-xue-xi-word2vec-bi-ji/192
  • http://latex.codecogs.com/eqneditor/editor.php

• 深度学习框架

  • tensorflow
    
    • http://wiki.jikexueyuan.com/project/tensorflow-zh/tutorials/overview.html
    • https://github.com/jikexueyuanwiki/tensorflow-zh/blob/master/TOC.md
    • https://github.com/nlintz/TensorFlow-Tutorials 例子
    • 卷积
      
      1. http://www.zhihu.com/question/22298352
      2. http://deeplearning.stanford.edu/wiki/index.php/Feature_extraction_using_convolution
    • 池化 http://deeplearning.stanford.edu/wiki/index.php/Pooling
  • paddle
    
    • https://github.com/baidu/paddle
    • http://www.paddlepaddle.org/doc_cn/demo/quick_start/index.html

• softmax回归

  • http://ufldl.stanford.edu/wiki/index.php/Softmax%E5%9B%9E%E5%BD%92
  • 对于k类分类，是选择softmax分类器呢，还是k个独立的logic二元分类好？取决于类别之间是否互斥，如果互斥则softmax，如果不互斥（可能是其中的一类或者多类），则多个独立logic。

• 深度学习（多层神经网络）

  • http://deeplearning.stanford.edu/wiki/index.php/%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C

  • http://deeplearning.stanford.edu/wiki/index.php/UFLDL%E6%95%99%E7%A8%8B

  • 神经网络的沉浮 http://www.36dsj.com/archives/39775

• 梯度下降

  • 梯度下降（批量），随机梯度下降，批量随机梯度下降，http://www.cnblogs.com/louyihang-loves-baiyan/p/5136447.html
  • 在样本数据量少的时候使用批量梯度下降（下降速度最快），而在数据量大的时候建议使用批量随机梯度下降。

• LR vs. DT vs. SVM

  • http://blog.youkuaiyun.com/oliverkehl/article/details/50129999

。。。持续更新