qq_35100645的博客

梯度下降法梯度下降法是求解无约束最优化问题的一种最常用的方法，它是一种迭代算法，每一步需要求解目标函数的梯度向量。 梯度下降法算法： 输入：目标函数f(x)，梯度函数g(x)=∇f(x)，计算精度ε：f(x)的极小点x0f(x)，梯度函数g(x) = \nabla f(x)，计算精度\varepsilon ：f(x)的极小点{x_0} (1)取初始值x0∈Rn，置k=0{x_0} \in {R

概述knn（k近邻）是机器学习比较常用的算法，也是一个比较简单的算法，其工作机制非常简单：给定测试样本，基于某种距离度量找出训练集与其最靠近的k个训练样本，然后基于这k个邻居的信息来进行预测。在分类中，选择这k个样本中出现最多的类别标记作为预测结果；而在回归中，则用这k个样本的平均值作为预测结果。也可以基于距离远近进行加权平均和加权投票，距离越近权重越大。这次基于kaggle上的数字识别器讲解其分类