huzuoliang

machine learning as a set of methods that can automatically detect patterns in data, and then use the uncovered patterns to predict future data, or to perform other kinds of decision making under uncer

本系列文章用于汇集知识点，查漏补缺，面试找工作之用。数学公式较多，解释较少。 1.假设 2.sigmoid函数: 3.假设的含义： 4.性质： 5.找一个凸损失函数 6.可由最大似然估计推导出 单个样本正确预测的概率为 只是3两个式子合并在一起的表示方法 整个样本空间的概率分布为 取

个人总结：维数灾难：随着维数的增加，算法的效果并没有更好，而是超过某一个阈值后，变差。 问题主要可以从三个方面进行分析： 1.维数增多会导致样本密度降低(n个样本在边长为w的p维空间中，样本的密度为:n/pow(w,p))，导致结果容易过拟合。 2.维数增多会带来高维空间数据稀疏化问题(在p维空间中，为了保持k的拟合覆盖率，需要pow(1/p,x)=k样本数)，导致结果容易过拟合。 3.维