u012009684的博客

局部加权回归 区别“参数”学习和“非参数”学习： 参数化学习：算法的目的是习得参数具体的值，参数的数量不变。 非参数化学习：参数的数量随数据量（线性）增大，相当于最终结果保存了训练集。 局部加权回归是一种非参数化学习，即保存训练数据，在预测新数据时，给接近输入的那些数据更高的权重，用它们来产生模型参数，再代入求解。 精确来说： 我们改变了代价函数，相较于普通的线性回归，加上了权重 如果比较小（x是要预测的数据），则上式接近于1。如果比较大，则上式接近于0。可见，只有接近的数据会被用来做预

符号表示 假设h(x)：将输入映射到输出的函数，学习的目标是得出该函数。 训练集X：输入矩阵（设计矩阵,design matrix），x表示一个训练例列 向量。 训练集大小m：训练集合中有多少训练例，即X的列数。 特征数n：每个训练例有多少特征，即X的行数（或行数减一，见后文）。 目标Y：训练例的答案 参数θ：决定h的参数 线性回归 决定θ使得预测 的误差（代价函数） 最小。 (假设x0=1) 梯度下降 不断更新θ，使得J不断趋近最小值的过程。 α为步长系数...