初心

1，线性回归，logistic（对数几率）回归: 线性回归学习y=wTx+b中的w和b,logistc回归是通过logistic函数y’=f（y）将y映射到（-1,1）的类似阶梯函数，实现二分类，y’值代表从属于某一类的概率。 2，线性判别分析（LDA）和支持向量机： 在二分类问题中LDA目的在于找到一条过原点直线y=wTx（即求解w）,使得训练集中的样本映射到该直线后，同类中的协方差尽可能小

模型的容量：是指其拟合各种函数的能力。容量低的模型很难拟合训练集，容量高的模型容易过拟合。通过处理特征课改变模型容量，例如假设真实数据符合三次分布，那么用二次函数很难拟合(容量低)，加入三次项后效果提高，若用九次项拟合（容量过高）会发生过拟合。 奥卡姆剃刀：在同样能够解释已知观测现象的假设中，我们应该挑选‘‘最简单’’ 的那一个。 VC维：是统计理论中一种量化模型容量的方法，定义为该分类器能够分

tensorflow本身发布的版本是基于Ubuntu下的，因此在Ubuntu下比在windows下更加方便。其安装方法有三种，见tensorflow实战第二章环境的搭建。本文介绍使用pip安装基于cpu的tensorflow。 1，下载安装pip:$ sudo apt-get install python-pip python-dev 2，安装tensorflow$ sudo pip insta

最大似然： 通过求对数化简，可将目标方程转化为最小化均方误差， 特点：忽略先验，最终求得参数的单点估计。 贝叶斯： 特点：考虑先验，求解参数的完整概率密度函数（贝叶斯后验概率分布） 其中P(w)认为设定（如服从均值为0，方差为I的高斯分布） p(y|X,w)： 最大后验（MAP）： 特点:将先验转化为最大似然中的惩罚项。许多正规化估计方法，例如权重衰减正则化的最大