xddwz的博客

参考：https://blog.youkuaiyun.com/tsyccnh/article/details/76270707?utm_source=distribute.pc_relevant.none-task如果把梯度下降法想象成一个小球从山坡到山谷的过程，那么前面几篇文章的小球是这样移动的：从A点开始，计算当前A点的坡度，沿着坡度最大的方向走一段路，停下到B。在B点再看一看周围坡度最大的地方，沿着这个坡度方向走一段路，再停下。确切的来说，这并不像一个球，更像是一个正在下山的盲人，每走一步都要停下来，用拐杖来

1、kNN算法原理 k近邻（k-Nearest Neighbor）是比较简单的机器学习算法，它通过计算向量（特征值）间的距离衡量相似度来进行分类。它的思想很简单：如果一个样本在特征空间中的k个最近邻（最相似）的样本中的大多数属于某一类别，则该样本也属于这个类别。说白了就是一句话：对某个样本，与他最相似的k个样本属于哪一类，它就属于哪一类。 2、kNN的python实现（进行文本分类）

1、算法流程 KMeans算法是典型的基于距离的聚类算法，采用距离作为相似性的评价指标，即认为两个对象的距离越近，其相似度就越大。该算法认为簇是由距离靠近的对象组成的，因此把得到紧凑且独立的簇作为最终目标。 Kmeans中，初始聚类中心的选取对聚类的结果有较大的影响，因此，在该算法中第一步是是随机的选取任意k个对象作为初始聚类中心，初始的代表一个簇。在每次迭代中，对数据集中剩余的

1、来源于统计学习方法的提升算法 提升算法是一种常用的统计学习算法，应用十分广泛且有效。在实际应用中，通过改变训练样本的权重来学习多个分类器，并将这些分类器进行线性组合来提高分类器的性能。提升算法的基本思想是：对一个复杂的任务来说，将多个分类器（弱分类器）进行适当的组合来得到最后的输出（强分类器），这个输入要比其中任何一个单独的输出都要好。就是我们所说的“三个臭皮匠顶个诸葛亮”。 也就是说，在学

1、ELM理论 个人理解，ELM就是单隐层的前馈人工神经网。但是与传统的BP算法的区别之处在于其不需要反向迭代的调整隐层的权值。具体说来就是：在单隐层的前馈神经网络中，对于输入的特征向量，输入层到隐层的权值随机赋值，但是隐层到输出层的权值则需要根据最小二乘法得到。这就是ELM的训练过程。 与BP的区别：BP算法中，输入层到隐层和隐层带输出层的权值全部需要根据梯度下降法迭代求解。 如图所示的

1、网络的结构 网络的一般结构为： INPUT -> [[CONV -> RELU]*N -> POOL?]*M -> [FC -> RELU]*K -> FC INPUT：输入 CONV：卷积层 RELU：激活函数 POOL：池化层，这里的问号表示该层是可选的 FC：全连接层 N >= 0 （通常N <= 3）, M >= 0, K >= 0 （通常 K <