魂小猫的博客

“从样例学习” （1）监督学习 1.分类 2.回归 （2）非监督学习 1.聚类 “从样例学习”：（归纳学习） 归纳（induction）从特殊到一般，和演绎（deduction）从一般到特殊，是科学的两大基本推理手段。归纳是从特殊到一般的“泛化”（generalization）过程,演绎是从一般到特殊的“特化”（specialization）过程。 “从样例中学习

线代矩阵迹相关知识： 线性回归解决连续性回归问题 线性回归假设特征和结果满足线性关系。其实线性关系的表达能力非常强大，每个特征对结果的影响强弱可以有前面的参数体现，而且每个特征变量可以首先映射到一个函数，然后在参与线性计算。这样就可以表达特征与结果之间的非线性关系。 θ在这里称为参数，意思是调整feature中每个特征的影响力，这里我们令X0=1则 此时，我们需要一个机制去评估我

局部线性回归（LWR）： 原始版本的线性回归是： 1.使用参数θ进行拟合，让数据集中的值与拟合算出的值的差值平方（最小二乘法的思想） 2.输出θTX 相应的在LWR局部加权线性回归中： 1.使用参数θ进行拟合，让加权距离 w(i)(y(i) − θT x(i))^2最小； 2.输出 θTX。 上面式子中的w(i)是非负的权值，直观点说就是，如果对应某个 i 的权值w(i)特别大，那么在