codedz的博客

1. 梯度下降算法概述如果说在机器学习领域有哪个优化算法最广为认知，用途最广，非梯度下降算法莫属。在模型和决策都已经定义好了之后，我们要做的就是通过一个算法去最优化这个损失函数，也就是让损失函数最小化，其中最常用的一种方法就是梯度下降。2. 生活实例梯度下降算法最贴近生活的一个实例就是下山。假设我们在山上的某个位置，我们要如何走才能最快到达山底呢？答案很显然，沿着山腰最陡峭的方向向下走。具体方法步骤如下：确定自己所在的地方查看并找到四周最陡峭的方向朝那个陡峭的方向下山一定距离（learnin

KNN算法详解及实现k近邻法（k-nearest neighbor，k-NN）是一种基本的分类和回归方法，是监督学习方法里的一种常用方法。k近邻算法假设给定一个训练数据集，其中的实例类别已定。分类时，对新的实例，根据其k个最近邻的训练实例类别，通过多数表决等方式进行预测。k近邻算法用一句通俗的古语来说就是：“物以类聚，人以群分”。你要看一个实例的类别，你就可以看它附近是什么类别。如下图1.1所示，当要判断绿色实例的类别的时候，我们可以看看它的附近有哪些类，然后采取多数表决的决策规则（红色2个多于蓝色1个

线性回归本示例仅使用糖尿病数据集的一个特征，以此来阐述二维图中的线性回归。 可以在图中看到预测的回归直线，显示了线性回归如何尝试绘制一条直线，该直线将最大程度地减少数据集中观察到的响应与通过线性近似预测的响应之间的残差平方和。不仅如此，本例还计算了系数，残差平方和和决定系数。数据集介绍本次案例采用sklearn中的diabetes数据集， diabetes是一个关于糖尿病的数据集，包括442个病人的生理数据及一年后的病情发展状况。diabetes数据集中包含442个样本，每个样本包含10个特征，分别

感知机1．感知机是根据输入实例的特征向量xxx对其进行二类分类的线性分类模型：f(x)=sign⁡(w⋅x+b)f(x)=\operatorname{sign}(w \cdot x+b)f(x)=sign(w⋅x+b)感知机模型对应于输入空间（特征空间）中的分离超平面w⋅x+b=0w \cdot x+b=0w⋅x+b=0。2．感知机学习的策略是极小化损失函数：min⁡w,bL(w,b)=−∑xi∈Myi(w⋅xi+b)\min _{w, b} L(w, b)=-\sum_{x_{i} \in M}