HPUZJH

k-近邻法简介 k近邻法(k-nearest neighbor, k-NN)是1967年由Cover T和Hart P提出的一种基本分类与回归方法。它的工作原理是：存在一个样本数据集合，也称作为训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一个数据与所属分类的对应关系。输入没有标签的新数据后，将新的数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本最相似数...

解决线性回归的参数求解步骤 1、构造假设函数hθ(x)=θ0+θ1x 假设函数的向量形式 2、构造损失函数 这里我们乘上1/2是为了方便后面求导函数时结果更加简洁。 3、接下来目标就是最小化损失函数，使我们的拟合函数能够最大程度地对目标函数y进行拟合。 最小化损失函数使用的思想是梯度下降算法。先选择一个向量θ作为初始向量，然后不停对它进行迭代，每次向量中每个元素减去步...

梯度 在微积分里面，对多元函数的参数求∂偏导数，把求得的各个参数的偏导数以向量的形式写出来，就是梯度。比如函数f(x,y)f(x,y), 分别对x,y求偏导数，求得的梯度向量就是(∂f/∂x0,∂f/∂y0)T,简称grad f(x,y)或者▽f(x,y)。对于在点(x0,y0)的具体梯度向量就是(∂f/∂x0,∂f/∂y0)T.或者▽f(x0,y0)。如果是3个参数的向量梯度，就是...