Icarus_的学习笔记

Transformer 模型

1.什么是梯度下降法机器学习领域的一个重要的方法，叫做梯度下降法。那么梯度下降法和我们之前讲的knn算法或者线性回归算法不同。梯度下降法本身不是一个机器学习的算法，他既不是在做监督学习，也不是在做非监督学习，他不能用于解决回归问题或者分类问题，梯度下降法是一种基于搜索的最优化的方法。它虽然也是人工智能领域的一个非常重要的方法，但是它的作用是用于优化一个目标函数。那么对于我们要最小化一个损失函数的话，相应的使用的就是梯度下降法。而如果我们要最大化一个效用函数的话，相应的就应该使用梯度上升法。线性回归算法，

01 kNN 基础import numpy as npimport matplotlib.pyplot as pltkNN 基础概念k近邻算法，全称是 K Nearest Neighbors，knn算法是一个非常适合大家入门机器学习的算法。这是因为knn算法他的思想极度简单，不仅如此，knn这么一个思想简单的算法，它的效果也出奇的好。 该方法的思路是：在特征空间中，如果一个样本附近的k个最近(即特征空间中最邻近)样本的大多数属于某一个类别，则该样本也属于这个类别。 给定一个训练数据集，对新