机器学习，K均值算法笔记（草履虫都能学会），嘎嘎简单

最新推荐文章于 2025-04-10 10:58:51 发布
原创 最新推荐文章于 2025-04-10 10:58:51 发布 · 806 阅读 · 15 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习 #均值算法 #笔记 #人工智能 #k-means #kmeans #算法

本文详细介绍了K-均值聚类算法，包括其含义、无监督学习的应用、聚类过程（包括初始化聚类中心、大体步骤和优化目标函数），以及如何避免局部最优问题，通过多次运行以求得全局最优解。

机器学习笔记系列

无监督学习

含义

  • 给算法一个数据集，但是不给算法任何其他的信息，例如对错等，让算法自行分组

聚类

  • 目的是自动从给定的数据集中自动分析其特征，并将其自动的分成一个个的簇

K-均值算法

介绍

  • 我们先想好要将整个数据集分为几个簇，若为K个簇，则分配K个聚类中心，将每个聚类中心随机分配一个数值，每个聚类中心的每次迭代都将比较所有样本和自己的距离，将离自己近的样本划分为自己的类别，然后计算自己类别下的所有样本的均值赋值给自己，再更新位置，最终碰到更新不动了，则划分完成，如下列步骤所示

  • image-20211116165355000
  • image-20211116165601227
  • image-20211116165819482
  • image-20211116165918374
  • image-20211116165955366
  • image-20211116170018006

  • 从上示图例可以清楚的看见两个聚类中心所移动的走向及其步骤的

大体步骤
  • 输入：
    • K个值（代表想要分成的簇的个数）
    • 训练集
  • 根据输入的K值随机确定 μ 1 , μ 2 , . . . , μ K ∈ R n \mu_1,\mu_2,...,\mu_K\in\mathbb{R}^n μ1​,μ2​,...,μK​∈Rn个簇
  • 递归（当聚类中心停止移动时跳出循环）
    • for i in range(1, m) m代表样本的个数
      • 计算出每个样本离每个聚类中心之间的距离，然后将其赋值给 c ( i ) c^{(i)} c(i)
      • 例如： c ( 1 ) = 2 c^{(1)}=2 c(1)=2 的意思为第一个样本离2号聚类中心最近，属于2号聚类中心
      • 计算样本与聚类中心的距离公式： ∥ x ( i ) − μ k ∥ 2 \left \| x^{(i)}-\mu_k \right \| ^2 ​x(i)−μk​ ​2
      • 该式可以不加平方，效果也是一样的，但是由于大家的公约都是加平方，所以我们这也加上平方
    • for k in range(1, K)
      • 计算每个聚类中心名下的所有样本的均值赋值给该聚类中心，移动聚类中心的位置
一个问题
  • 若划分完簇后，发现有聚类中心并没有任何样本怎么办，有两个方法
    • 删除该聚类中心（常见做法）
    • 重新随机聚类中心的数值位置，再进行迭代计算
优化目标函数（代价函数）
  • 先定义几个符号
    • c ( i ) c^{(i)} c(i) ：第i个样本所属的簇
    • μ k \mu_k μk​ ：第k个簇
    • μ c ( i ) \mu_{c^{(i)}} μc(i)​ ：第i个样本所属的簇的聚类中心
      • 例如，当 c ( 1 ) = 2 c^{(1)}=2 c(1)=2 时代表第一个样本属于2号簇，而 μ c ( 1 ) = μ 2 \mu_{c^{(1)}}=\mu_2 μc(1)​=μ2​
  • 优化目标函数： J ( c ( 1 ) , . . . , c ( m ) , μ 1 , . . . , μ K ) = 1 m ∑ i = 1 m ∥ x ( i ) − μ c ( i ) ∥ 2 J(c^{(1)},...,c^{(m)},\mu_1,...,\mu_K)=\frac{1}{m}\sum\limits_{i=1}^{m}\left\|x^{(i)}-\mu_{c^{(i)}}\right\|^2 J(c(1),...,c(m),μ1​,...,μK​)=m1​i=1∑m​ ​x(i)−μc(i)​ ​2
  • 不难看出，sum后面的就是我们的距离公式，该函数也就是要寻找出能使得该函数最小化的 c ( 1 ) , . . . , c ( m ) , μ 1 , . . . , μ K c^{(1)},...,c^{(m)},\mu_1,...,\mu_K c(1),...,c(m),μ1​,...,μK​
  • 该函数也叫失真代价函数｜K均值算法的失真
初始化聚类中心
  • 在初始化聚类中心之前我们首先需要确定我们的K值，一般情况下，K<m
  • 因为你想想，m是样本个数，K是我们想要将该样本分类的个数，所以K<m
  • 如何随机选择我们的聚类中心呢？
  • 我们可以随机挑选K个样本，然后使我们的K个聚类中心等于这K个样本
  • 也就如图所示
  • image-20211116211920690
  • 可以看到我们随机将我们的两个聚类中心放在了我们的两个样本上
  • 但是我们可以发现一个问题，上图中是刚好将两个聚类中心随机到了两坨样本上
  • 但是如果运气不好的话，就有可能出现如下情况
  • image-20211116212500954
  • 可以看到两个聚类中心在一坨样本当中，这样经过K均值算出的结果肯定和上图是不一样的
  • 那么我们就陷入了局部最优的情况，那么我们怎样得出全局最优呢？
局部最优及全局最优
  • 我们再来举个栗子
  • image-20211116212623051
  • 当我们有一个这样子的样本图，我们假设要将其分成3个簇
  • 那么我们可能得出以下的三种结果
    • 全局最优
      • image-20211116212722736
    • 局部最优
      • image-20211116212959091
  • 这个主要的原因就在于初始化聚类中心不同的点所造成的
  • 所以我们可以尝试多次初始化聚类中心，也就是运行多次K均值算法
  • 一般运行K均值算法的次数为50-1000次
多次运行K均值步骤
  • For i in range(1, 100) 运行100次K均值算法
    1. 随机初始化K均值聚类中心
    2. 运行K均值，获取 c ( 1 ) , . . . , c ( m ) , μ 1 , . . . , μ K c^{(1)},...,c^{(m)},\mu_1,...,\mu_K c(1),...,c(m),μ1​,...,μK​
    3. 计算代价函数J
  • 经过上述运行后，我们可以得出100种分类该数据集的方法
  • 我们最后从这100种方法中选择出代价函数J最小的那个方法
PS
  • 一般情况下，当我们要分出的簇的个数较小，在10个以下的情况，我们运行多次初始化会有比较明显的效果，而如果K的值较大，例如100个以上，那么可能在第一次随机初始化的时候效果就比较好了，所以在给后续进行随机初始化的时候效果可能不会有很大的改进
  • 一般情况下，当我们要分出的簇的个数较小，在10个以下的情况，我们运行多次初始化会有比较明显的效果，而如果k的值较大，例如100个以上，那么可能在第一次随机初始化的时候效果就比较好了，所以在给后续进行随机初始化的时候效果可能不会有很大的改进

参考链接

  • https://www.bilibili.com/video/BV1FT4y1E74V/?spm_id_from=333.337.search-card.all.click&vd_source=97163a4e6e2704667559fdbd58743862
机器学习方法（七）：Kmeans聚类K值如何选，以及数据重抽样方法Bootstrapping
weixin_30751947的博客
02-15 1124
欢迎转载，转载请注明：本文出自Bin的专栏blog.youkuaiyun.com/xbinworld。 技术交流QQ群：433250724，欢迎对算法、技术感兴趣的同学加入。我的博客写一些自己用得到东西，并分享给大家，如果有问题欢迎留言与我讨论：） Kmeans聚类方法是（我认为）最广泛使用以及稳定、有效的聚类方法。聚类是无监督学习方法，不需要对数据本身的标签有任何了解。如果你不是很理解k...
【机器学习】——K_means如何选择k值？
m0_46568930的博客
12-30 6266
  K_means聚类是我们在无监督学习中常用的一种算法，但有一个很让人头疼的问题就是如何选择k值。在实际业务中，如果根据业务场景明确知道要得到的类数，那就好办了，但很多时候不知道K怎么办呢？下面有三种方法可以用来确定k值，其基本思想还是最小化类内距离，最大化类间距离，使同一簇内样本尽可能相似，不同簇中样本尽可能不相似. 1.肘部法   随着k值增大，误差值会越来越小（举一个极端的例子：当每一个样本被分为一个类时，类内间距最小，但这显然不是我们想要的），因此可根据不同k值下的误差曲线选择使误差平方和下降最快
机器学习实战——K均值
m0_55818687的博客
11-20 988
机器学习实战——K均值
机器学习实验二 K折交叉验证找最佳K值并可视化分析
xqmids99的博客
05-04 3541
一、实验目的： （1）K折交叉验证是一种常用的模型评估方法，它可以在有限的数据下充分利用数据集，提高模型精度和泛化能力。K折交叉验证将数据集分成K个互不重叠的子集，每次选取其中一个子集作为测试集，剩余K-1个子集作为训练集，然后计算模型在测试集上的误差，重复该过程K次，最终得到K个误差值的平均数作为模型的性能指标。 （2）寻找最佳的K值可以通过在一定范围内遍历K值，比较不同K值下模型的性能指标来确定最佳的K值。比如，可以从2开始尝试不同的K值，直到最大的K值等于数据集大小。通常情况下，K的取值范围应该保证
机器学习03 K值的选择
singularity1980的博客
04-29 439
K值过小： ​ 容易受到异常点的影响 K值的减小就意味着整体模型变得复杂，容易发生过拟合； eg：判断是不是人? 眼睛，鼻子，黄皮肤 皮肤颜色为过拟合 k值过大： ​ 受到样本均衡的问题 与输入实例较远（不相似的）训练实例也会对预测器作用，使预测发生错误，且K值的增大就意味着整体的模型变得简单。 eg：判断是不是人? 特征值：眼睛，鼻子
机器学习，朴素贝叶斯分类笔记（例子嘎嘎简单，草履虫都能学会）
GottenZZP的博客
05-03 235
机器学习朴素贝叶斯分类问题的算法笔记，样例简单通俗易懂。
机器学习，回归算法笔记（草履虫都能看懂），简单的一批
GottenZZP的博客
04-30 1283
回归算法系列笔记
机器学习，神经网络算法笔记（草履虫都能看懂），简单的一批
GottenZZP的博客
05-02 1370
机器学习笔记，神经网络系列笔记，超简单易懂。
BPE分词算法逐步详解，超级简单易懂，草履虫都能看懂！
GottenZZP的博客
04-10 966
BPE（Byte-Pair Encoding，字节对编码）是一种NLP中常见的分词方法，核心思想是通过“找规律、合并重复”的方式，把经常一起出现的字符或小片段组合起来，逐步构建一个“词汇表”，然后用该词汇表来拆分任何文本。现在 “u n” 和 “n </w>” 并列最常见（16次），我们随便挑一个，比如合并 “u n” 成 “un”。初始词汇表：[“b”, “g”, “h”, “n”, “p”, “s”, “u”, “</w>”]最常见的字符对是 “u g”，出现了20次。
【深度学习保姆级教学】学习笔记（一）：机器学习与深度学习+神经网络基础
weixin_51725225的博客
03-16 622
机器学习与深度学习+神经网络基础
机器学习全解 - 一文看懂聚类算法 (含算法介绍，公式，手写代码实现，调包实现)
qq_51222843的博客
05-14 3836
Kmeans算法是最常用的聚类算法，主要思想是:在给定K值和K个初始类簇中心点的情况下，把每个点(亦即数据记录)分到离其最近的类簇中心点所代表的类簇中，所有点分配完毕之后，根据一个类簇内的所有点重新计算该类簇的中心点(取平均值)，然后再迭代的进行分配点和更新类簇中心点的步骤，直至类簇中心点的变化很小，或者达到指定的迭代次数。
数据匿名化k-值法
m0_58420741的博客
05-16 1289
得到新的聚类中心后，再次对全部样本进行分类，将样本点归入距离最近的聚类中心所在的类别中。具体来说，该方法通过将原始数据的敏感信息替换为相邻区间的中心值，并引入一些随机扰动，使得数据难以还原，从而保证了数据的匿名性。同时，在迭代计算聚类中心时，如果样本点到两个聚类中心的距离相同，则按顺序选择第一个聚类中心作为它所属的分类。计算每一个样本点到聚类中心的距离，将样本点归入距离最近的聚类中心所在的类别中。2. 分类：计算每一个样本点到这k个聚类中心的距离，并将样本点归入距离最近的聚类中心所在的类别中。
K 均值算法-如何让数据自动分组
@码农充电站的专栏
12-04 1440
K 均值算法是一种无监督学习。与分类算法相比，无监督学习算法又叫聚类算法，就是只有特征数据，没有目标数据，让算法自动从数据中“学习知识”，将不同类别的数据聚集到相应的类别中。
人工智能|机器学习——K-means系列聚类算法k-means/ k-modes/ k-prototypes/ ......（划分聚类）
也许有一天我们再相逢 睁开眼睛看清楚 我才是英雄！
03-09 8848
k-means算法是一种简单且实用的聚类算法，但是传统的k-means算法只适用于连续属性的数据集(数值型数据)，而对于离散属性的数据集，计算簇的均值以及点之间的欧式距离就变得不合适了。k-modes作为k-means的一种扩展(变种)，距离使用汉明距离，适用于离散属性的数据集。
K均值算法（K_means)
热门推荐
crhxiyhx的博客
06-30 1万+
关于K-means,聚类（无监督学习）
机器学习算法-K近邻算法(1)
renfujiewoaini的博客
11-15 336
K近邻算法是一种监督学习算法，非常有效并且易于掌握，所以本博主就从该算法开始写起。 思想：给一个训练数据集和一个新的实例，在训练数据集中找出与这个新实例最近的K个训练实例，然后统计最近的k个训练实例中所属类别计数最多的那个类，就是新实例的类。 三要素： 1.K值的选择：k值越小表明模型越复杂，更容易过拟合；但是k值越大，模型越简单，如果k=N的时候就表明无论什么点都是训练集中类别
机器学习--K-近邻算法(KNN)
LI_dreamit的博客
09-07 1万+
1、K近邻算法的特点 k-近邻算法，也叫KNN算法(K-Nearest Neihbor，KNN)，是一个非常适合入门的算法，拥有如下特性： 适用于分类问题，尤其是二分类，当然也可以用来预测回归问题 思想极度简单，应用数学知识少(近乎为零) 对于很多不擅长数学的小伙伴十分友好，KNN算法几乎用不到数学专业知识 机器学习算法的hello world算法 效果好 虽然算法简单，但效果也不错 缺点也是存在的，后面会进行讲解
KNN算法（K近邻算法）
TXQIHYJ的博客
10-09 9184
KNN（K-Nearest Neighbor）即K邻近法，是机器学习算法中最基础、最简单的算法之一。它既能用于分类，也能用于回归。KNN通过测量不同特征值之间的距离来进行分类，用老话说：“人以群分，物以类聚”。KNN 算法是有监督学习中的分类算法，它看起来和另一个机器学习算法 K-means 有点像（K-means 是无监督学习算法），但却是有本质区别的。
机器学习算法----KNN K邻近 (K值的选择) (学习笔记)
深度不学习！！的博客
04-07 1万+
文章目录KNN简介算法原理K值选择距离的计算学习参考 今天整理一下KNN的笔记，这个算法比较简单，没什么太多的东西。 我刚才看到一个视频教程，里面的老师说KNN是一个聚类算法，我疑惑了一秒，然后出去确认了一下他讲错了，KNN是分类算法，分类和聚类在数据上都是有本质区别的，可以在我整理聚类的那篇学习笔记里看到聚类和分类的区别。 各种聚类笔记 支持向量机SVM笔记 决策树与随机森林笔记 KNN简介 KNN的全称是K Nearest Neighbors。意思是K个最近的邻居。 KNN是有监督学习，K-Mean
用保姆级，草履虫都能听懂的话来解释PHP封装协议，从详细到精通
最新发布
06-17
<think>我们被要求详细解释PHP封装协议，从基础到精通，使用简单易懂的语言。根据引用[1]和[3]，我们知道PHP在Web开发中用于处理动态内容，并且经常需要与文件系统或网络资源交互。封装协议（Wrapper）是PHP中一个重要的特性，它允许我们像操作普通文件一样操作各种资源（如HTTP、FTP、压缩文件等）。计划回答结构：1.什么是封装协议？(基础)2.内置的封装协议有哪些？(列举并简要说明)3.如何使用封装协议？(包括示例)4.自定义封装协议(进阶)5.封装协议的应用场景注意：引用中并没有直接提到封装协议，但提到了PHP处理数据、存储和读取，封装协议正是处理这些资源访问的一种机制。我们将按照上述结构进行解释，并尽量使用简单易懂的语言和示例。</think>### PHP封装协议详解：从入门到精通 #### 一、基础概念（什么是封装协议？） 封装协议（Wrapper）是PHP中用于**统一访问不同资源**的抽象层。它允许开发者使用标准文件函数（如`fopen()`, `file_get_contents()`）处理各种资源类型，包括： - 本地文件系统（`file://`） - HTTP/HTTPS网页（`http://`） - FTP服务器（`ftp://`） - 压缩文件（`zip://`） - 数据流（`php://`）等 核心原理：通过**协议前缀**（如`http://`）告诉PHP使用对应的协议处理器解析资源路径，实现**统一操作接口**[^1]。 --- #### 二、常用内置封装协议详解 1. **`file://` (默认协议)** 访问本地文件系统： ```php $content = file_get_contents('file:///var/www/data.txt'); // 等效于（默认省略协议）： $content = file_get_contents('/var/www/data.txt'); ``` 2. **`http://` & `https://`** 获取网络资源： ```php $html = file_get_contents('https://www.example.com/api'); // 发送带参数的GET请求： $data = file_get_contents('http://api.com?user=john&page=2'); ``` 3. **`php://` (PHP流协议)** - `php://input`：读取原始POST数据 ```php $rawData = file_get_contents('php://input'); ``` - `php://output`：直接写入输出缓冲 ```php fwrite(fopen('php://output', 'w'), 'Hello World'); ``` - `php://temp`：临时数据存储（内存不足时转存磁盘） ```php $temp = fopen('php://temp', 'r+'); fwrite($temp, 'Temporary data'); ``` 4. **`zip://`** 直接读取压缩包内文件： ```php // 读取 archive.zip 中 config.ini 的内容 $content = file_get_contents('zip://archive.zip#config.ini'); ``` 5. **`data://`** 嵌入Base64或URL编码数据： ```php $img = file_get_contents('data:image/png;base64,iVBORw0KGgo...'); ``` --- #### 三、高级应用：自定义封装协议 通过`stream_wrapper_register()`创建自定义协议处理器： ```php class MyWrapper { public function stream_open($path, $mode, $options, &$opened_path) { // 解析路径并建立连接 $this->position = 0; return true; } public function stream_read($count) { // 返回自定义数据 $data = "Custom data chunk"; $this->position += strlen($data); return $data; } } // 注册 myproto:// 协议 stream_wrapper_register('myproto', 'MyWrapper'); // 使用自定义协议 $data = file_get_contents('myproto://example-data'); ``` **关键方法**： - `stream_open()`：打开资源 - `stream_read()`/`stream_write()`：读写数据 - `stream_close()`：关闭资源 - `stream_seek()`：随机访问 --- #### 四、封装协议的应用场景 1. **统一资源访问** 用相同代码处理本地文件和网络资源： ```php function getContent($path) { return file_get_contents($path); // 自动识别协议 } ``` 2. **安全控制** 通过`allow_url_fopen`和`allow_url_include`配置限制危险协议访问。 3. **数据处理管道** 结合`stream_filter_append()`实现实时数据转换： ```php $stream = fopen('http://example.com/data.csv', 'r'); stream_filter_append($stream, 'convert.iconv.UTF-8/ASCII'); // 字符编码转换 ``` --- #### 五、安全注意事项 1. **禁用危险协议** 在`php.ini`中设置： ```ini allow_url_include = Off // 禁止直接包含远程代码 allow_url_fopen = On // 按需开启网络访问 ``` 2. **验证用户输入路径** 防止路径注入攻击： ```php $userPath = $_GET['path']; if (!preg_match('/^[a-z0-9:\/\.\-]+$/i', $userPath)) { die('Invalid path!'); } ``` > **最佳实践**：优先使用PHP内置协议（如`php://input`），避免直接操作`$_POST`处理二进制数据[^3]。 --- ### 相关问题 1. PHP封装协议与cURL在处理HTTP请求时有何性能差异？ 2. 如何通过`php://filter`实现文件内容实时加密？ 3. 自定义封装协议时如何实现目录遍历功能？ 4. 为什么`allow_url_include`默认关闭？它可能引发哪些安全问题？ [^1]: PHP封装协议允许统一访问不同资源类型，简化开发流程。 [^3]: PHP内置协议如`php://input`能安全处理原始数据流。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值