weq27的博客

KNN-K邻近算法学习笔记(一)kNN算法又称为k最近邻分类算法，是一种监督学习类方法，并且kNN算法不需要预先训练，也就是说kNN算法只有测试过程，没有训练过程。所谓的k最近邻，就是指最接近的k个邻居（数据），核心思想是：在一个含未知样本的空间，可以根据离这个样本最邻近的k个样本的数据类型来确定样本的数据类型。你可以简单的理解为由那离自己最近的K个点来投票决定待分类数据归为哪一类。该算法涉及3个主

KNN-用于回归的python实现之前实现过用于分类的KNN算法，现在实现用于回归的KNN算法，前面计算预测样本与训练集中样本的距离的步骤不变，后面同样是选取训练集中样本最近的k个点，但是输出的结果变为最近的k个训练样本的标签值的平均。使用最近的k个训练样本的标签值的平均作为预测样本的预测值。# encoing:utf-8import numpy as npimport pandas as pd

KNN-KD树学习笔记之前已经介绍过KNN的算法了，回顾一下KNN的算法核心思想：KNN算法是给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的k个实例，这k个实例的多数属于某个类，就把该输入实例分类到这个类中。实现kNN算法时，主要考虑的问题是如何对训练数据进行快速k近邻搜索，这点在特征空间的维数大以及训练数据容量大时尤其重要。简单的KNN算法需要遍历整个训练数据集来求解距离，

聚类分析学习笔记(一) 此笔记参考了数据挖掘导论、周志华的机器学习以及机器学习实战三本书1.概要聚类分析的作用是根据在数据中发现的描述对象及其关系的信息，将数据分组（簇）。组内的对象相互之间是相似的（相关的），而不同组中的对象是不同的（不相关的）。组内的相似性越大，组间的差别越大，则聚类就越好。因为聚类分析是无标记学习，所以是一种非监督学习。聚类分好几种类型，本文中主要涉及基于原型的聚类，基于

聚类分析学习笔记(二) 此笔记参考了数据挖掘导论、周志华的机器学习以及机器学习实战三本书3.基于密度的聚类3.1 基本概念簇是对象的稠密区域，被低密度环绕，此类算法假设聚类结构能通过样本分布的紧凑程度确定。当簇不规则或互相盘绕，并且有噪声和离群点时，常常使用基于密度的簇定义。通常情况下，密度聚类算法从样本密度来考察样本之间的可连接性，再基于样本之间的可连接性不断扩展簇最后得到聚类结果。（1）ε

聚类分析学习笔记(三) 此笔记参考了数据挖掘导论、周志华的机器学习以及机器学习实战三本书4.二分K-means算法4.1 基本概念二分K-means算法是对K-means算法的一种改进，它基于一种简单的思想：为了得到k个簇，将所有点的集合分裂成两个簇，从这些簇中选取一个继续分裂，如此下去，直到产生k个簇。度量聚类质量的目标函数：误差的平方和SSE，即计算每个样本到所在簇的质心的距离的平方和，S

优化算法-爬山法和模拟退火1.随机搜索算法随机搜索不是一种好的算法，但是它是爬山法和模拟退火的基础，可以帮 助我们理解爬山法和模拟退火法。现在简单介绍一下随机搜索算法，随机 确定许多个解，然后选择使目标函数最小的那个解，当然这个算法的结果 不是非常好，其效果和随机确定的解的个数也有关系，后面实现的python 算法就是随机确定1000个解。2.爬山法引出模拟退火先简单介绍一下爬山法，爬山发是

优化算法-遗传算法 主要参考了集体智慧编程一书之前已经实现过优化算法中的爬山法和模拟退火法，现在我们讨论一下另一种受自然科学启发的算法：遗传算法。借鉴生物进化论，遗传算法将要解决的问题模拟成一个生物进化的过程，通过复制、交叉、突变等操作产生下一代的解，并逐步淘汰掉适应度函数值低的解，留下适应度函数值高的解。这样进化N代后就很有可能会进化出适应度函数值很高的个体。遗传算法流程1.首先我们要初始化