vainfanfan的博客

最近学习了机器学习好多传统算法，自己体会还是要自己动手实践一下才能更好的消化掉。以Matlab自带的灰度图像rice.png为例，使用K-means算法进行聚类，求取阈值。K-Means是基于划分的聚类算法，属于比较基本的聚类算法。 1、主要步骤 K-means算法（以划分大米灰度图像为例）1、 读取图像，获取灰度值二维矩阵m*n2、 转换矩阵，将二维矩阵转换成一维...

DBSCAN是基于密度空间的聚类算法，与KMeans算法不同，它不需要确定聚类的数量，而是基于数据推测聚类的数目，它能够针对任意形状产生聚类。1.epsilon-neighborhoodepsoiln-neighborhood(简称e-nbhd）可理解为密度空间，表示半径为e且含有若干个点的nbhd，密度等于包含点的个数/空间大小。图中中心点是（3,2），半径epsilon是0.5根据式子...

一、经典DBSCAN的不足1.由于“维度灾难”问题，应用高维数据效果不佳2.运行时间在寻找每个点的最近邻和密度计算，复杂度是O(n2)。当d>=3时，由于BCP等数学问题出现，时间复杂度会急剧上升到Ω（n的四分之三次方）。二、DBSCAN在高维数据的改进目前的研究有Grid-based和approx等方向，基于Grid-based结构的有Fast-DBSCAN，时间复杂度最坏是O(n...

哈希学习算法是大数据时代十分重要的一个算法，本小白即将正式接触哈希算法。当然，第一步，看论文~看了两周的论文，竟然一上来又呆头呆脑的从头读（呵呵哒…），正面教材请看如何高效读论文废话少说，在没有接触learn to hash之前，本小白提出五个问题。一周后，若能以短短几句话回答它，说明本小白已经摸清了哈希学习的大概。问题如下：哈希算法和ANN(近邻最近搜索)有什么联系？哈希学习是解决什么问...

一、由ANN进入HashNN，即最近邻（nearest neighbor），定义在一个数据集X中，查询点q的最近邻是NN(q)=argmin dist(q,x) 其中x∈X。直接的表示，即为KNN查询，也就是需要找到K个最近邻。一个点x和查询点q的距离取决于具体的查询问题。例如：d维空间的数据集，和欧式距离。在低维空间时，这些情况都可以得到有效解决（比如k-d tree算法）。然而，在大规模高...

在上一节了解了ANN的背景，简单介绍了hash的算法，那基于hash的ANN框架是怎样的呢？框架图框架说明基于hash的ANN主要有四个步骤，包括特征提取、hash编码（学习+编码）、汉明距离排序、重排序。1、特征提取有查询图像和图像数据库，需要对这两类分别处理，对查询图像和数据库中的图像逐一提取有用的特征，把文件名和特征一一对应的添加到特征库中。2、hash编码（学习+编码）特征...

了解到哈希学习是在哈希编码阶段进行的，参考上一节基于hash的ANN框架哈希学习的目的是：学习一个复杂的哈希功能，y=h(x)，把一个输入点x映射成哈希码y，且满足q点的最近邻尽可能与实际结果相近，并且在编码空间的查询也是有效的。要满足这些要求，需考虑以下5个部分：哈希函数、编码空间的相似性、输入空间的相似性、损失函数、优化技术。一、哈希函数哈希函数可以是基于线性的、核函数、球面函数、深度神...